Dari Data hingga Large Language Model: Memahami Proses di Balik LLM

Ketika kita menggunakan ChatGPT, Gemini, Claude, Llama, atau model AI lainnya, kita cukup mengetik sebuah pertanyaan dan dalam hitungan detik mendapatkan jawaban yang terlihat seperti ditulis oleh manusia.

Hal ini kemudian memunculkan pertanyaan sederhana tetapi sangat penting:

Sebenarnya LLM mendapatkan pengetahuannya dari mana?

Apakah seluruh isi internet dimasukkan ke dalam sebuah database? Apakah ketika kita bertanya, AI melakukan pencarian seperti Google? Atau apakah semua buku, artikel, dan source code disimpan di dalam model?

Jawabannya lebih menarik dari itu.

Large Language Model atau LLM tidak bekerja seperti database yang menyimpan kumpulan dokumen untuk kemudian dicari kembali. LLM dibangun melalui proses pembelajaran terhadap data dalam jumlah sangat besar. Dari proses tersebut, model mempelajari pola bahasa, hubungan antar kata, struktur kalimat, konsep, hingga berbagai pola penalaran yang terdapat di dalam data.

Mari kita lihat perjalanan panjang tersebut, mulai dari data mentah hingga akhirnya menjadi sebuah LLM.

1. Semuanya Dimulai dari Data

LLM membutuhkan data dalam jumlah yang sangat besar.

Data tersebut dapat berasal dari berbagai sumber, misalnya:

• halaman web,
• artikel,
• buku,
• jurnal ilmiah,
• dokumentasi,
• ensiklopedia,
• forum diskusi,
• source code,
• dataset publik,
• data berlisensi,
• serta data yang dibuat atau dikurasi secara khusus untuk proses training.

Komposisi sumber data berbeda untuk setiap model.

Model yang banyak dilatih menggunakan source code, misalnya, cenderung memiliki kemampuan programming yang lebih baik. Sementara model yang mendapatkan banyak data ilmiah dan teknis dapat memiliki kemampuan yang lebih kuat dalam memahami istilah pada bidang tersebut.

Secara sederhana:

Internet
Buku
Artikel
Jurnal
Dokumentasi
Source Code
Dataset
     │
     ▼
Kumpulan Data Training

Namun data tersebut tidak dapat langsung diberikan kepada LLM.

Ada proses panjang sebelum data siap digunakan.

2. Mengumpulkan Data

Tahap pertama adalah data collection.

Bayangkan kita ingin membuat sebuah LLM sendiri. Kita mungkin mengumpulkan miliaran halaman teks dari berbagai sumber.

Hasil awalnya dapat berupa:

HTML
PDF
TXT
JSON
Source Code
Dokumen
Forum
Artikel

Jumlahnya bisa mencapai terabyte bahkan petabyte.

Tetapi semakin banyak data belum tentu semakin baik.

Misalnya terdapat data seperti:

Cara install Linux di server...

Kemudian kalimat yang sama ditemukan pada 500 website berbeda.

Jika semuanya digunakan, model dapat memberikan bobot berlebihan terhadap informasi tersebut.

Karena itu data perlu dibersihkan.

3. Data Cleaning

Tahap berikutnya adalah data cleaning.

Data mentah dari internet memiliki banyak masalah.

Misalnya:

<script>
advertisement
cookie banner
navigation
spam
duplicate content
random characters
</script>

Bagian-bagian seperti ini biasanya tidak memberikan nilai berarti dalam proses pembelajaran bahasa.

Pipeline sederhananya dapat terlihat seperti:

Raw Data
   │
   ▼
Filtering
   │
   ▼
Cleaning
   │
   ▼
Deduplication
   │
   ▼
Quality Filtering
   │
   ▼
Training Dataset

Beberapa proses yang biasanya dilakukan antara lain:

Filtering

Memilih data yang dianggap layak digunakan.

Deduplication

Menghilangkan konten yang sama atau sangat mirip.

Language Detection

Mengidentifikasi bahasa yang digunakan.

Quality Filtering

Mengurangi spam, halaman berkualitas rendah, teks rusak, atau konten yang tidak memberikan banyak informasi.

Safety Filtering

Dataset juga dapat melalui berbagai proses penyaringan berdasarkan kebijakan dan tujuan model yang sedang dikembangkan.

Pada tahap ini mulai terlihat bahwa:

Kualitas LLM bukan hanya ditentukan oleh ukuran model, tetapi juga kualitas data yang digunakan untuk melatihnya.

4. Komputer Tidak Memahami Kata

Setelah mendapatkan dataset yang bersih, muncul masalah berikutnya.

Komputer sebenarnya tidak memahami kata seperti manusia.

Misalnya:

Saya sedang belajar artificial intelligence

Bagi manusia kalimat tersebut mempunyai makna.

Tetapi neural network bekerja dengan angka.

Karena itu teks perlu diubah menjadi unit yang dapat diproses oleh model.

Di sinilah muncul konsep tokenization.

5. Tokenization: Mengubah Teks Menjadi Token

Tokenizer memecah teks menjadi bagian-bagian yang disebut token.

Token tidak selalu sama dengan satu kata.

Misalnya:

Artificial intelligence sangat menarik

Secara konseptual dapat dipecah menjadi:

Artificial
intelligence
sangat
menarik

Namun tokenizer sebenarnya dapat memecah kata menjadi bagian yang lebih kecil.

Misalnya:

unbelievable

bisa saja menjadi beberapa token seperti:

un
believ
able

Setiap token kemudian mempunyai ID numerik.

Contoh sederhana:

Artificial  → 15432
intelligence → 9821
sangat → 731
menarik → 5421

Sehingga:

"Artificial intelligence sangat menarik"

berubah menjadi sesuatu seperti:

[15432, 9821, 731, 5421]

Sekarang data sudah dapat diproses oleh neural network.

6. Token Diubah Menjadi Representasi Matematis

Token ID saja belum cukup.

Model membutuhkan representasi yang dapat menggambarkan hubungan antar token.

Karena itu token kemudian direpresentasikan dalam bentuk vector melalui proses embedding.

Secara sederhana:

Token
  │
  ▼
Token ID
  │
  ▼
Embedding
  │
  ▼
Vector

Misalnya secara ilustratif:

"emas"   → [0.23, -0.71, 0.18, ...]
"perak"  → [0.21, -0.65, 0.22, ...]
"mobil"  → [-0.52, 0.14, 0.83, ...]

Dalam ruang representasi yang dipelajari model, konsep yang sering muncul dalam konteks yang berkaitan dapat memiliki pola representasi yang juga saling berhubungan.

Tetapi ini baru permulaan.

7. Transformer: Mesin Utama LLM Modern

Sebagian besar LLM modern dibangun menggunakan arsitektur Transformer atau turunannya.

Transformer diperkenalkan melalui paper terkenal tahun 2017:

Attention Is All You Need

Salah satu konsep terpenting di dalamnya adalah attention.

Perhatikan kalimat:

Andi membeli laptop baru karena laptop lamanya rusak.

Ketika model memproses kata:

lamanya

model perlu memahami hubungannya dengan:

laptop

Mekanisme attention membantu model menentukan bagian mana dari konteks yang relevan ketika memproses sebuah token.

Secara sangat sederhana:

Input Token
    │
    ▼
Embedding
    │
    ▼
Transformer Layers
    │
    ├── Attention
    ├── Feed Forward Network
    ├── Normalization
    └── berbagai operasi matematis
    │
    ▼
Probability Token Berikutnya

Inilah salah satu fondasi utama kemampuan LLM memahami konteks.

8. Bagaimana LLM Belajar?

Sekarang masuk ke bagian terpenting.

Bagaimana model sebenarnya belajar?

Salah satu objective dasar pada banyak LLM generatif adalah:

memprediksi token berikutnya.

Misalnya terdapat kalimat:

Indonesia memiliki ibu kota ...

Model mencoba memprediksi token berikutnya.

Pada awal training, prediksinya mungkin buruk:

Indonesia memiliki ibu kota mobil

Sistem kemudian menghitung seberapa jauh prediksi model dari target yang terdapat pada data training.

Nilai kesalahan tersebut disebut loss.

Secara konseptual:

Input
  │
  ▼
Model
  │
  ▼
Prediction
  │
  ▼
Compare with Target
  │
  ▼
Loss
  │
  ▼
Backpropagation
  │
  ▼
Update Parameters

Proses ini dilakukan berulang kali dalam skala yang luar biasa besar.

9. Parameter: Tempat Hasil Pembelajaran Tersimpan

LLM memiliki sesuatu yang disebut parameters atau parameter model.

Misalnya kita sering mendengar:

7B parameters
8B parameters
70B parameters

Huruf B berarti billion atau miliar.

Model 8B berarti mempunyai sekitar:

8.000.000.000 parameter

Parameter tersebut pada dasarnya adalah nilai numerik yang terus disesuaikan selama training.

Misalnya secara sangat sederhana:

0.127
-0.843
1.238
0.004
...

Tentunya struktur sebenarnya jauh lebih kompleks.

Ketika model melakukan kesalahan prediksi, algoritma optimisasi akan memperbarui parameter tersebut agar prediksi berikutnya menjadi sedikit lebih baik.

Proses ini terjadi miliaran atau bahkan triliunan kali.

10. Jadi Apakah Data Training Disimpan di Dalam LLM?

Ini bagian yang sering disalahpahami.

Misalnya sebuah LLM belajar dari jutaan artikel.

Bukan berarti model memiliki database seperti:

articles
--------------------------------
id
title
content
url

kemudian ketika kita bertanya:

Apa itu machine learning?

model melakukan:

SELECT content
FROM articles
WHERE topic = 'machine learning';

Secara umum bukan seperti itu.

Training mengubah pola yang ditemukan dalam data menjadi konfigurasi parameter model.

Gambaran sederhananya:

Data Training
     │
     ▼
Training
     │
     ▼
Pattern Learning
     │
     ▼
Billions of Parameters
     │
     ▼
LLM

Karena itu kita tidak dapat memperlakukan LLM seperti database pengetahuan biasa.

Meski demikian, model dapat dalam kondisi tertentu menghafal sebagian data training, terutama data yang sangat sering muncul atau unik. Inilah salah satu alasan mengapa deduplication, privacy filtering, dan pengelolaan dataset menjadi penting.

11. Dari Prediksi Token Muncul Kemampuan yang Kompleks

Di sinilah LLM menjadi sangat menarik.

Objective dasarnya terlihat sederhana:

Prediksi token berikutnya

Tetapi model dilatih menggunakan data yang sangat besar dan beragam.

Di dalam data tersebut terdapat pola:

bahasa
logika
matematika
programming
sejarah
sains
percakapan
argumentasi
struktur dokumen

Dengan skala data, parameter, dan komputasi yang besar, model dapat mempelajari pola yang sangat kompleks.

Hasilnya model dapat melakukan:

menjawab pertanyaan
menulis artikel
meringkas dokumen
menerjemahkan
membuat program
mengklasifikasikan teks
menganalisis informasi

Padahal pada tingkat paling dasar, proses generasinya tetap berkaitan dengan pemilihan token berikutnya berdasarkan konteks.

12. Setelah Pretraining, Apakah LLM Sudah Siap?

Belum tentu.

Model setelah proses pretraining disebut sebagai base model.

Base model telah belajar banyak pola bahasa dan pengetahuan dari dataset, tetapi belum tentu bagus sebagai assistant.

Karena itu biasanya terdapat tahapan lanjutan.

Secara konseptual:

Raw Data
   │
   ▼
Cleaning
   │
   ▼
Tokenization
   │
   ▼
Pretraining
   │
   ▼
Base Model
   │
   ▼
Instruction Tuning
   │
   ▼
Preference / Alignment Training
   │
   ▼
Assistant Model

13. Instruction Tuning

Pada tahap ini model diberikan contoh bagaimana mengikuti instruksi.

Misalnya:

User:
Jelaskan machine learning untuk pemula.

Assistant:
Machine learning adalah...

Model belajar pola:

Instruction → Response

Datasetnya jauh lebih kecil dibandingkan pretraining, tetapi kualitasnya sangat penting.

Tujuannya agar model tidak sekadar melanjutkan teks, tetapi mampu mengikuti instruksi pengguna dengan lebih baik.

14. Preference Training dan Alignment

Model kemudian dapat melalui proses tambahan agar responsnya lebih sesuai dengan preferensi manusia.

Manusia atau sistem evaluator dapat membandingkan beberapa jawaban.

Misalnya:

Jawaban A
Jawaban B

kemudian menentukan jawaban mana yang:

lebih benar
lebih membantu
lebih jelas
lebih aman
lebih relevan

Informasi preferensi tersebut digunakan untuk meningkatkan perilaku model.

Tekniknya dapat berbeda-beda, misalnya menggunakan pendekatan berbasis human feedback maupun preference optimization.

15. Dari Mana Kemampuan Programming LLM Berasal?

Prinsipnya sama.

Misalnya dataset mengandung banyak source code:

public class HelloWorld {
    public static void main(String[] args) {
        System.out.println("Hello World");
    }
}

Model melihat jutaan pola programming:

Java
Python
JavaScript
C
C++
SQL
HTML
CSS
dan lainnya

Dari sana model belajar pola seperti:

class
function
variable
API
SQL query
design pattern
error handling
algoritma

Karena itulah LLM dapat menghasilkan source code.

Bukan karena di dalam model terdapat kumpulan template program yang sekadar dicopy, tetapi karena model telah mempelajari banyak pola struktur source code selama training.

16. Mengapa Training LLM Membutuhkan GPU?

Training neural network membutuhkan operasi matematika dalam jumlah sangat besar.

Bayangkan:

Triliunan token
      ×
Miliaran parameter
      ×
Banyak layer
      ×
Forward pass
      ×
Backward pass

Perhitungannya sangat besar.

GPU sangat cocok untuk melakukan banyak operasi matriks secara paralel.

Karena itu training LLM besar biasanya menggunakan:

GPU
GPU
GPU
GPU
 │
 └── Cluster
       │
       ▼
Distributed Training

Bahkan model besar dapat membutuhkan ribuan GPU yang bekerja secara bersamaan selama berminggu-minggu atau berbulan-bulan.

17. Training dan Inference Itu Berbeda

Ini juga penting dipahami.

Training

Training adalah proses membuat atau melatih model.

Dataset
   ↓
GPU Cluster
   ↓
Training
   ↓
Model Parameters

Training sangat mahal karena parameter terus diperbarui.

Inference

Inference adalah ketika model yang sudah selesai dilatih digunakan.

Pertanyaan
   ↓
LLM
   ↓
Generate Token
   ↓
Generate Token
   ↓
Generate Token
   ↓
Jawaban

Ketika kita menjalankan Llama melalui Ollama, misalnya, pada umumnya kita sedang melakukan inference, bukan melatih model tersebut dari awal.

18. LLM Tidak Sama dengan Search Engine

Search engine bekerja dengan mencari dokumen.

Query
  ↓
Search Index
  ↓
Document
  ↓
Result

Sedangkan LLM secara sederhana:

Prompt
  ↓
Tokenization
  ↓
Transformer
  ↓
Probability Distribution
  ↓
Next Token
  ↓
Next Token
  ↓
Next Token

Karena perbedaan ini, LLM dapat menghasilkan jawaban yang terdengar meyakinkan tetapi ternyata salah.

Fenomena tersebut sering disebut hallucination.

Model tidak selalu sedang mengambil sebuah fakta dari database. Model menghasilkan respons berdasarkan pola yang telah dipelajari dan konteks yang diberikan.

19. Lalu Apa Bedanya dengan RAG?

Di sinilah Retrieval-Augmented Generation (RAG) menjadi penting.

RAG menggabungkan kemampuan pencarian informasi dengan kemampuan generatif LLM.

Misalnya perusahaan mempunyai:

SOP
Dokumentasi
Database tiket
Peraturan
Knowledge Base

Dokumen tersebut tidak perlu digunakan untuk melatih ulang LLM dari nol.

Dokumen dapat disimpan pada sistem retrieval.

Ketika pengguna bertanya:

Bagaimana prosedur reset password?

sistem melakukan:

Pertanyaan User
      │
      ▼
Retrieval / Search
      │
      ▼
Dokumen Relevan
      │
      ▼
Context
      │
      ▼
LLM
      │
      ▼
Jawaban

Inilah alasan RAG banyak digunakan pada aplikasi AI enterprise.

Pengetahuan organisasi dapat diperbarui tanpa harus melakukan pretraining LLM kembali.

20. Gambaran Besar Perjalanan Data Menjadi LLM

Jika seluruh proses kita sederhanakan:

Internet / Buku / Jurnal / Code / Dataset
                    │
                    ▼
             Data Collection
                    │
                    ▼
              Data Cleaning
                    │
                    ▼
               Filtering
                    │
                    ▼
             Deduplication
                    │
                    ▼
              Tokenization
                    │
                    ▼
              Pretraining
                    │
                    ▼
        ┌───────────────────────┐
        │      BASE MODEL       │
        │ Billions of Parameters│
        └───────────────────────┘
                    │
                    ▼
          Instruction Tuning
                    │
                    ▼
        Preference / Alignment
                    │
                    ▼
        ┌───────────────────────┐
        │     ASSISTANT LLM     │
        └───────────────────────┘
                    │
                    ▼
               Inference
                    │
                    ▼
               Pengguna

Jika digunakan pada sistem enterprise, kita dapat menambahkan:

                    User
                      │
                      ▼
              Enterprise App
                      │
              ┌───────┴───────┐
              ▼               ▼
         Retrieval           Tools
              │               │
              └───────┬───────┘
                      ▼
                     LLM
                      │
                      ▼
                   Response

Dengan demikian, LLM menjadi mesin bahasa dan reasoning, sementara data aktual dapat berasal dari sistem lain.

21. Analogi Sederhana: LLM Seperti Seseorang yang Banyak Membaca

Cara termudah memahami LLM adalah dengan analogi seorang manusia.

Bayangkan seorang anak membaca:

ribuan buku
jutaan artikel
berbagai percakapan
source code
jurnal
dokumentasi

Setelah bertahun-tahun, kita bertanya:

"Apa itu gravitasi?"

Ia tidak selalu mengingat:

"Jawaban ini berada di buku halaman 273."

Tetapi dari seluruh proses belajar tersebut terbentuk pemahaman dan pola di dalam pikirannya.

LLM memiliki kemiripan secara konseptual.

Namun ada perbedaan penting: manusia memahami dunia melalui pengalaman fisik, persepsi, emosi, tujuan, dan kehidupan sosial. LLM terutama belajar melalui pola matematis dari data dan training yang diberikan kepadanya.

Jadi analogi ini membantu memahami gambaran besarnya, tetapi tidak berarti cara berpikir manusia dan LLM sama.

22. Data Adalah Fondasi AI

Perkembangan LLM sering dibicarakan dari sisi:

jumlah parameter
GPU
arsitektur
context window
benchmark

Padahal ada satu komponen yang sama pentingnya:

data.

Secara sederhana kita dapat melihat kemampuan sebuah model sebagai hasil kombinasi:

Data
+
Model Architecture
+
Compute
+
Training Method
+
Post-training
=
LLM Capability

Model besar dengan dataset buruk belum tentu menghasilkan AI yang baik.

Sebaliknya, dataset yang bersih, beragam, relevan, dan dikurasi dengan baik dapat memberikan dampak sangat besar terhadap kualitas model.

Penutup

LLM tidak muncul secara tiba-tiba sebagai mesin yang "mengetahui segalanya".

Di belakangnya terdapat pipeline yang sangat panjang:

Data
→ Cleaning
→ Tokenization
→ Training
→ Parameter Optimization
→ Base Model
→ Instruction Tuning
→ Alignment
→ LLM

Miliaran hingga triliunan token diproses berulang kali sehingga pola yang terdapat di dalam data secara bertahap direpresentasikan dalam parameter neural network.

Ketika kita kemudian bertanya kepada LLM, model tidak bekerja persis seperti mesin pencari yang membuka kembali seluruh dataset training. Model menggunakan parameter yang telah dipelajari, konteks yang tersedia, dan secara bertahap menghasilkan token berikutnya hingga membentuk sebuah jawaban.

Karena itu untuk memahami AI modern, jangan hanya mempelajari modelnya.

Pelajari juga datanya.

Sebab jauh sebelum sebuah model dapat berbicara, menulis program, menganalisis dokumen, atau menjawab pertanyaan, semuanya dimulai dari satu hal:

data.