Pendahuluan

Dalam beberapa tahun terakhir, GPT (Generative Pre-trained Transformer) menjadi salah satu teknologi kecerdasan buatan yang paling berpengaruh di dunia. Produk seperti ChatGPT menunjukkan bahwa komputer kini mampu memahami bahasa manusia, menjawab pertanyaan, menulis kode program, menganalisis dokumen, hingga membantu proses pengambilan keputusan.

Namun di balik kemampuan tersebut terdapat infrastruktur komputasi berskala sangat besar yang melibatkan ribuan hingga puluhan ribu GPU, pusat data modern, jaringan berkecepatan tinggi, dan model AI dengan ratusan miliar hingga triliunan parameter.

Artikel ini membahas bagaimana GPT bekerja, bagaimana model tersebut dilatih, serta perkiraan sumber daya komputasi yang dibutuhkan untuk menjalankan layanan AI skala global seperti ChatGPT.

Apa Itu GPT?

GPT merupakan singkatan dari Generative Pre-trained Transformer.

Nama tersebut terdiri dari tiga bagian utama:

• Generative → mampu menghasilkan teks baru.
• Pre-trained → telah dilatih menggunakan data dalam jumlah sangat besar.
• Transformer → arsitektur neural network yang diperkenalkan pada tahun 2017 melalui paper Attention Is All You Need.

GPT tidak menyimpan jawaban dalam bentuk database tanya-jawab seperti chatbot tradisional. Sebaliknya, model memprediksi kata berikutnya berdasarkan pola yang dipelajari selama proses pelatihan.

Contoh sederhana:

Input:

Ibukota Indonesia adalah

Model memprediksi:

Jakarta

Karena selama proses training model menemukan pola tersebut berkali-kali pada berbagai sumber data.

Evolusi Model GPT

Perjalanan GPT menunjukkan peningkatan kapasitas yang sangat signifikan.

OpenAI tidak lagi mengungkapkan ukuran parameter secara resmi sejak GPT-4.

Banyak analis industri memperkirakan GPT-4 dan penerusnya menggunakan arsitektur Mixture of Experts (MoE) yang memungkinkan jumlah parameter total jauh lebih besar dibandingkan model generasi sebelumnya.

Apa Itu Parameter?

Parameter adalah angka-angka yang dipelajari model selama training.

Secara sederhana:

• Semakin banyak parameter, semakin besar kapasitas model.
• Parameter berfungsi sebagai "pengetahuan terkompresi".
• Parameter bukan database atau tabel informasi.

Sebagai ilustrasi:

• Model 7B memiliki sekitar 7 miliar parameter.
• Model 70B memiliki sekitar 70 miliar parameter.
• GPT kelas frontier kemungkinan memiliki ratusan miliar hingga triliunan parameter.

Parameter tersimpan sebagai nilai numerik yang digunakan untuk menghitung probabilitas token berikutnya.

Bagaimana GPT Dilatih?

Proses training dilakukan menggunakan data dalam jumlah sangat besar yang berasal dari:

• Website publik
• Buku
• Dokumentasi teknis
• Artikel ilmiah
• Forum diskusi
• Source code open source
• Dataset khusus yang telah difilter

Tahapan umumnya:

1. Data Collection

Mengumpulkan triliunan token teks.

2. Preprocessing

Membersihkan data:

• Spam
• Duplikasi
• Konten berkualitas rendah
• Data yang rusak

3. Pretraining

Model belajar memprediksi token berikutnya.

Contoh:

Saya makan nasi dan ...

Model mencoba menebak kata berikutnya.

Kesalahan prediksi digunakan untuk memperbarui parameter.

Proses ini diulang triliunan kali.

4. Fine-Tuning

Model disesuaikan agar:

• Lebih aman
• Lebih akurat
• Lebih mudah digunakan

5. Reinforcement Learning

Feedback manusia digunakan untuk meningkatkan kualitas jawaban.

Mengapa GPT Bisa Menulis Source Code?

Salah satu kemampuan GPT yang paling mengesankan adalah menghasilkan kode program.

Hal ini terjadi karena selama training model mempelajari:

• Java
• Python
• Go
• JavaScript
• C#
• SQL
• Bash
• YAML
• Dockerfile

dan berbagai bahasa pemrograman lainnya.

Model tidak benar-benar "mengerti" seperti manusia, tetapi mempelajari pola:

public class UserDto {
    private String name;
}

sering muncul bersamaan dengan:

@Getter
@Setter
@NoArgsConstructor
@AllArgsConstructor

Akibatnya model mampu menghasilkan struktur kode yang sangat realistis.

Berapa Server yang Dibutuhkan ChatGPT?

OpenAI tidak mempublikasikan angka resmi.

Namun berbagai analisis industri memperkirakan infrastruktur GPT modern terdiri dari:

Saat Training

Puluhan ribu GPU kelas data center.

Perkiraan:

Cluster training dapat mengonsumsi daya listrik hingga puluhan megawatt.

Saat Inference (Produksi)

Inference adalah saat pengguna mengirim pertanyaan ke ChatGPT.

Karena jutaan pengguna aktif setiap hari, OpenAI membutuhkan:

• Ribuan server AI
• Puluhan ribu GPU aktif
• Load balancer global
• Sistem cache
• Penyimpanan terdistribusi

Setiap prompt yang dikirim pengguna akan diproses oleh cluster inference tersebut.

Berapa Konsumsi Memori Model GPT?

Sebagai ilustrasi:

Karena itu model frontier biasanya dijalankan secara terdistribusi pada banyak GPU sekaligus.

Mengapa GPT Membutuhkan GPU?

Training AI modern didominasi oleh operasi matriks besar.

Contoh sederhana:

A × B = C

Operasi ini dilakukan triliunan kali selama training.

GPU dirancang untuk melakukan ribuan operasi paralel secara bersamaan.

Perbandingan sederhana:

Karena itu AI modern hampir seluruhnya menggunakan GPU.

Infrastruktur Jaringan

Selain GPU, pusat data AI memerlukan jaringan berkecepatan sangat tinggi.

Umumnya menggunakan:

• InfiniBand
• NVLink
• Ethernet 400G
• Ethernet 800G

Tanpa jaringan cepat, ribuan GPU tidak dapat bekerja sebagai satu sistem besar.

Tantangan Menjalankan GPT Skala Dunia

Biaya Infrastruktur

Pelatihan model frontier dapat menghabiskan:

• Puluhan juta dolar
• Hingga ratusan juta dolar

untuk satu siklus training.

Konsumsi Energi

Cluster AI modern mengonsumsi energi yang sangat besar.

Pusat data AI kini menjadi salah satu konsumen listrik terbesar dalam industri teknologi.

Latency

Pengguna mengharapkan jawaban muncul dalam hitungan detik.

Karena itu diperlukan:

• Optimisasi model
• Quantization
• Cache
• Load balancing

Keamanan

Model harus dilindungi dari:

• Prompt injection
• Data leakage
• Abuse
• Spam
• DDoS

Masa Depan GPT

Perkembangan GPT diperkirakan akan bergerak ke arah:

• Context window lebih besar
• Reasoning yang lebih kuat
• Multi-modal penuh (teks, gambar, audio, video)
• Agent AI yang dapat menjalankan tugas kompleks
• Integrasi langsung dengan aplikasi bisnis

Di masa depan, GPT tidak hanya menjawab pertanyaan tetapi juga mampu:

• Mengelola tiket
• Menjalankan workflow
• Membuat laporan
• Menganalisis log
• Mengotomatisasi pekerjaan operasional

Kesimpulan

GPT merupakan kombinasi antara algoritma Transformer, data dalam skala internet, dan infrastruktur komputasi yang sangat besar. Kemampuan yang terlihat sederhana dari sisi pengguna sebenarnya didukung oleh ribuan hingga puluhan ribu GPU yang bekerja secara paralel.

Meskipun angka pasti tidak dipublikasikan, industri memperkirakan bahwa model AI frontier modern membutuhkan investasi infrastruktur bernilai ratusan juta hingga miliaran dolar untuk training dan operasional.

Kemajuan GPT menunjukkan bahwa masa depan perangkat lunak tidak lagi hanya ditentukan oleh kode yang ditulis manusia, tetapi juga oleh kemampuan AI untuk memahami, menghasilkan, dan menjalankan proses yang sebelumnya memerlukan intervensi manusia secara langsung.