Sebelum Membangun AI, Pastikan Data Anda Sudah Siap
Artificial Intelligence (AI) semakin mudah diakses. Model bahasa, machine learning, computer vision, hingga berbagai layanan AI berbasis cloud dapat digunakan tanpa harus membangun semuanya dari nol.
Kemudahan tersebut sering menimbulkan satu asumsi:
“Kami punya banyak data. Berarti kami sudah siap menggunakan AI.”
Padahal, memiliki banyak data tidak sama dengan memiliki data yang siap digunakan oleh AI.
Dalam banyak proyek AI, tantangan terbesar justru muncul sebelum model dibuat: data tersebar di berbagai sistem, format tidak konsisten, banyak nilai kosong, definisi berbeda antarunit, histori tidak lengkap, atau bahkan tidak diketahui apakah data tersebut masih dapat dipercaya.
Karena itu, sebelum membicarakan model, GPU, Large Language Model (LLM), RAG, atau AI Agent, ada pertanyaan yang jauh lebih mendasar:
Apakah data organisasi kita sudah siap?
AI Belajar dari Apa yang Kita Berikan
Secara sederhana, sistem AI mempelajari pola dari data.
Misalnya sebuah perusahaan ingin membangun AI untuk memprediksi keterlambatan pengiriman barang. Perusahaan tersebut mungkin memiliki data:
- tanggal pemesanan,
- tanggal pengiriman,
- lokasi pelanggan,
- jenis barang,
- perusahaan logistik,
- waktu barang keluar dari gudang,
- status pengiriman,
- dan tanggal barang diterima.
Secara teori, data tersebut dapat digunakan untuk mencari pola yang berhubungan dengan keterlambatan.
Namun bayangkan jika kenyataannya seperti ini:
Order A
Tanggal Pesan : 2026-01-10
Tanggal Kirim : 2026-01-11
Tanggal Diterima : 2026-01-13
Order B
Tanggal Pesan : 10/01/26
Tanggal Kirim : -
Tanggal Diterima : 13 Januari 2026
Order C
Tanggal Pesan : NULL
Tanggal Kirim : 2026/01/11
Tanggal Diterima : selesai
Bagi manusia, beberapa informasi tersebut mungkin masih dapat dipahami.
Bagi sistem komputer, kondisi seperti ini menimbulkan banyak pertanyaan.
Apakah - berarti data tidak tersedia atau barang belum dikirim?
Apakah selesai berarti barang sudah diterima?
Format tanggal mana yang menjadi standar?
Bagaimana menentukan durasi pengiriman jika tanggal pemesanan tidak tersedia?
AI tidak secara otomatis memperbaiki kekacauan tersebut. Dalam banyak kasus, AI justru mempelajari kekacauan yang terdapat di dalam data.
Garbage In, Garbage Out Masih Berlaku di Era AI
Istilah Garbage In, Garbage Out atau GIGO sudah dikenal jauh sebelum era Generative AI.
Prinsipnya sederhana:
Data buruk
↓
Model belajar dari data buruk
↓
Pola yang dipelajari tidak akurat
↓
Prediksi atau jawaban menjadi tidak dapat dipercaya
Kemampuan model AI yang semakin canggih tidak menghilangkan prinsip tersebut.
Model yang sangat baik tetap dapat menghasilkan sistem yang buruk apabila data yang diberikan tidak relevan, tidak konsisten, bias, atau salah.
Karena itu kualitas sistem AI tidak hanya bergantung pada:
Model
tetapi lebih tepat dipandang sebagai kombinasi:
AI System
│
├── Data
├── Model
├── Business Rules
├── Infrastructure
├── Integration
├── Security
└── Monitoring
Model hanyalah salah satu bagian dari keseluruhan sistem.
Banyak Data Belum Tentu Data yang Baik
Organisasi yang telah menggunakan sistem informasi selama bertahun-tahun biasanya memiliki data dalam jumlah besar.
Namun jumlah bukan satu-satunya ukuran kesiapan data.
Misalnya sebuah perusahaan memiliki 10 juta transaksi selama sepuluh tahun.
Angka tersebut terdengar sangat menarik untuk proyek AI.
Tetapi setelah dianalisis ternyata:
- sistem pernah beberapa kali berganti,
- kode produk berubah,
- sebagian transaksi tidak memiliki kategori,
- nama pelanggan ditulis dengan format berbeda,
- terdapat data duplikat,
- definisi status berubah,
- sebagian histori hilang saat migrasi,
- dan dokumentasi struktur data tidak tersedia.
Secara kuantitas, datanya besar.
Secara kualitas, belum tentu siap.
Sebaliknya, dataset yang lebih kecil tetapi konsisten, relevan, terdokumentasi, dan memiliki histori yang jelas terkadang jauh lebih berguna.
Lima Pertanyaan Dasar tentang Kesiapan Data
Sebelum memulai proyek AI, setidaknya ada lima pertanyaan yang sebaiknya dijawab.
1. Apakah Datanya Tersedia?
Pertanyaan pertama bukan tentang AI.
Pertanyaannya:
Apakah data yang dibutuhkan memang pernah dicatat?
Misalnya perusahaan ingin membuat AI untuk memprediksi mesin yang akan mengalami kerusakan.
Tetapi data yang tersedia hanya:
machine_id
tanggal_service
jenis_service
biaya_service
Sementara data seperti:
temperature
vibration
rpm
operating_hours
pressure
error_code
tidak pernah direkam.
Masalah tersebut tidak dapat diselesaikan hanya dengan memilih model AI yang lebih besar.
Organisasi mungkin perlu membangun sistem pengumpulan data terlebih dahulu.
Contohnya:
Mesin
↓
Sensor
↓
IoT Gateway
↓
Telemetry Database
↓
Historical Data
↓
Machine Learning
Dalam kasus seperti ini, proyek AI sebenarnya dimulai dari instrumentasi dan pengumpulan data, bukan dari training model.
2. Apakah Datanya Benar?
Data tersedia belum tentu berarti data tersebut benar.
Misalnya terdapat data suhu:
28.1
29.4
30.2
-999
31.0
450
29.8
Nilai -999 mungkin sebenarnya kode bahwa sensor tidak membaca data.
Nilai 450 mungkin terjadi karena sensor mengalami gangguan.
Jika data tersebut langsung digunakan, model dapat menganggap nilai tersebut sebagai kondisi yang benar-benar terjadi.
Karena itu diperlukan proses validasi.
Contohnya:
Raw Data
↓
Validation
↓
Cleaning
↓
Normalization
↓
Validated Data
Aturan validasi dapat berupa:
temperature >= -10
temperature <= 60
tentunya sesuai konteks perangkat dan lingkungan yang sebenarnya.
3. Apakah Datanya Konsisten?
Salah satu masalah paling umum dalam sistem perusahaan adalah perbedaan representasi data.
Misalnya status transaksi ditulis:
COMPLETED
Complete
complete
DONE
Done
Selesai
selesai
Bagi manusia semuanya mungkin memiliki arti yang sama.
Bagi komputer, semuanya merupakan nilai yang berbeda.
Masalah serupa dapat terjadi pada:
- nama wilayah,
- kode produk,
- kategori transaksi,
- satuan ukuran,
- format tanggal,
- mata uang,
- status proses,
- nama aplikasi,
- dan identitas pelanggan.
Karena itu diperlukan standardisasi.
Misalnya:
Complete
complete
DONE
Done
Selesai
selesai
↓
COMPLETED
Proses yang terlihat sederhana ini sangat penting karena model belajar berdasarkan pola yang terdapat di dalam data.
4. Apakah Datanya Memiliki Konteks?
Data tanpa konteks sering kali sulit digunakan.
Misalnya terdapat tabel:
ID STATUS
001 1
002 2
003 4
Apa arti status 1, 2, dan 4?
Mungkin developer lama mengetahuinya.
Tetapi bagaimana dengan data scientist yang baru bergabung lima tahun kemudian?
Tanpa dokumentasi seperti:
1 = CREATED
2 = PROCESSING
3 = CANCELLED
4 = COMPLETED
data menjadi sulit dipahami.
Inilah mengapa metadata dan data dictionary sangat penting.
Data dictionary sederhana dapat berisi:
| Field | Type | Description |
|---|---|---|
| order_id | varchar | Unique order identifier |
| created_at | timestamp | Waktu order dibuat |
| status | integer | Status proses order |
| total_amount | decimal | Total nilai transaksi |
| customer_id | varchar | Identitas pelanggan |
Dokumentasi seperti ini sering dianggap pekerjaan administratif.
Padahal ketika organisasi mulai membangun analytics, machine learning, atau AI, dokumentasi tersebut menjadi sangat berharga.
5. Apakah Datanya Relevan dengan Masalah?
Tidak semua data harus dimasukkan ke AI.
Misalnya kita ingin memprediksi kemungkinan pelanggan membatalkan transaksi.
Dataset memiliki 200 kolom.
Bukan berarti semua 200 kolom harus digunakan.
Pertanyaan yang lebih penting adalah:
Data apa yang secara logis berhubungan dengan masalah yang ingin diselesaikan?
Inilah salah satu alasan proyek AI sebaiknya dimulai dari masalah bisnis, bukan dari teknologi.
Urutannya sebaiknya:
Business Problem
↓
Pertanyaan yang ingin dijawab
↓
Data yang dibutuhkan
↓
Ketersediaan dan kualitas data
↓
Metode penyelesaian
↓
AI / ML jika memang diperlukan
Bukan:
"Kita ingin menggunakan AI"
↓
Cari data
↓
Cari masalah
Data Silo: Masalah yang Sering Tidak Terlihat
Dalam organisasi besar, data biasanya tersebar di banyak tempat.
Contohnya:
ERP
│
CRM
│
Helpdesk
│
Warehouse System
│
IoT Platform
│
Spreadsheet
│
Database lama
Masing-masing sistem mungkin memiliki representasi pelanggan yang berbeda.
Contohnya:
ERP
customer_id = C00182
CRM
customer_code = 182
Helpdesk
customer_email = customer@example.com
Spreadsheet
customer_name = PT Contoh Indonesia
Secara bisnis semuanya mungkin pelanggan yang sama.
Tetapi sistem tidak memiliki identitas tunggal yang dapat menghubungkannya.
Ketika ingin membangun AI, masalah integrasi tersebut mulai muncul.
Karena itu, terkadang investasi terbaik sebelum AI bukan membeli GPU atau model baru.
Melainkan memperbaiki:
- integrasi data,
- master data,
- API,
- data warehouse,
- data lake,
- ETL/ELT,
- data catalog,
- dan data governance.
Data untuk Machine Learning dan RAG Tidak Sama
Kesiapan data juga bergantung pada jenis AI yang akan dibangun.
Untuk machine learning, dataset biasanya berbentuk relatif terstruktur.
Contohnya:
temperature
humidity
pressure
machine_age
operating_hours
failure
Sementara untuk Retrieval-Augmented Generation (RAG), sumber datanya dapat berupa:
PDF
SOP
manual
regulation
ticket
knowledge base
email
technical documentation
Pada RAG, masalah kualitas data juga berbeda.
Misalnya terdapat:
SOP versi 2022
SOP versi 2023
SOP revisi 2024
SOP final 2025
SOP final terbaru.pdf
SOP final terbaru revisi.pdf
Jika semuanya dimasukkan ke knowledge base tanpa pengelolaan versi, sistem RAG dapat menemukan dokumen lama dan memberikan jawaban yang sebenarnya sudah tidak berlaku.
Karena itu pipeline RAG yang baik bukan sekadar:
Document
↓
Embedding
↓
Vector Database
↓
LLM
Tetapi dapat berkembang menjadi:
Document
↓
Validation
↓
Version Control
↓
Metadata
↓
Cleaning
↓
Chunking
↓
Embedding
↓
Indexing
↓
Retrieval
↓
LLM
Sekali lagi, kualitas sistem AI sangat dipengaruhi kualitas data sebelum data tersebut mencapai model.
Jangan Membersihkan Data Sekali Saja
Kesalahan lain adalah menganggap data cleaning sebagai proyek satu kali.
Misalnya:
Data
↓
Cleaning
↓
Training
↓
Selesai
Dalam sistem production, data terus berubah.
Hari 1 → Data baru
Hari 2 → Data baru
Hari 3 → Data baru
...
Karena itu data quality seharusnya menjadi proses berkelanjutan.
Contohnya:
Data Source
↓
Validation
↓
Quality Check
↓
Transformation
↓
Storage
↓
AI Pipeline
↓
Monitoring
Jika suatu hari struktur data berubah, pipeline harus dapat mendeteksinya.
Misalnya sebelumnya:
{
"status": "COMPLETED"
}
kemudian aplikasi berubah menjadi:
{
"transaction_status": "COMPLETED"
}
Perubahan kecil seperti ini dapat merusak pipeline AI jika tidak terdapat monitoring dan kontrak data yang baik.
Data Governance Menjadi Semakin Penting
Semakin banyak data digunakan oleh AI, semakin penting pertanyaan mengenai siapa yang boleh menggunakan data tersebut.
Tidak semua data yang secara teknis tersedia berarti boleh digunakan secara bebas.
Organisasi perlu mengetahui:
Siapa pemilik data?
↓
Siapa yang boleh membaca?
↓
Untuk tujuan apa data digunakan?
↓
Berapa lama data disimpan?
↓
Apakah terdapat data sensitif?
↓
Apakah aktivitas akses dapat diaudit?
Karena itu proyek AI juga perlu mempertimbangkan:
- access control,
- data classification,
- masking,
- encryption,
- audit trail,
- retention policy,
- lineage,
- serta kepatuhan terhadap regulasi yang berlaku.
AI bukan alasan untuk mengabaikan tata kelola data.
Justru semakin kuat kemampuan AI mengolah informasi, semakin penting kontrol terhadap data yang diberikan kepadanya.
Checklist Sederhana Sebelum Memulai Proyek AI
Sebelum organisasi mulai membangun AI, beberapa pertanyaan berikut dapat digunakan sebagai pemeriksaan awal.
Business
- Masalah yang ingin diselesaikan sudah jelas.
- Ada ukuran keberhasilan yang dapat diukur.
- Sudah dipastikan bahwa masalah memang membutuhkan AI.
Data
- Data yang dibutuhkan tersedia.
- Jumlah data cukup untuk kasus yang akan dibangun.
- Data memiliki histori yang memadai.
- Data tidak memiliki terlalu banyak nilai kosong.
- Duplikasi telah diidentifikasi.
- Format data konsisten.
Documentation
- Struktur data terdokumentasi.
- Definisi setiap field diketahui.
- Kode dan status memiliki definisi yang jelas.
- Sumber data diketahui.
Quality
- Terdapat mekanisme validasi.
- Outlier dapat diidentifikasi.
- Kesalahan input dapat dideteksi.
- Perubahan struktur data dapat dimonitor.
Governance
- Pemilik data diketahui.
- Hak akses telah ditentukan.
- Data sensitif telah diidentifikasi.
- Penggunaan data sesuai kebijakan dan regulasi.
- Aktivitas penting dapat diaudit.
Jika banyak bagian dari checklist tersebut belum terpenuhi, mungkin proyek yang perlu dilakukan terlebih dahulu bukan AI Project, melainkan Data Readiness Project.
Infrastruktur AI yang Baik Dimulai dari Fondasi Data
AI sering digambarkan sebagai bagian paling atas dari teknologi modern.
Namun sebenarnya AI berdiri di atas banyak lapisan.
┌───────────────┐
│ AI │
├───────────────┤
│ ML / RAG / LLM│
├───────────────┤
│ Data Platform │
├───────────────┤
│ Integration │
├───────────────┤
│ Data Quality │
├───────────────┤
│ Data Sources │
└───────────────┘
Jika fondasinya tidak stabil, mengganti model AI tidak akan menyelesaikan masalah utama.
Organisasi dapat mencoba model yang lebih besar, membeli GPU yang lebih mahal, menggunakan vector database baru, atau berpindah dari satu layanan AI ke layanan lainnya.
Tetapi apabila sumber datanya tidak dapat dipercaya, hasil akhirnya tetap sulit dipercaya.
Mulailah dari Data, Bukan dari Model
Ketika memulai proyek AI, pertanyaan pertama sering kali:
“Model apa yang akan kita gunakan?”
Mungkin pertanyaan tersebut perlu ditempatkan sedikit lebih belakang.
Mulailah dengan pertanyaan:
“Masalah apa yang ingin kita selesaikan?”
Kemudian:
“Data apa yang dibutuhkan untuk menyelesaikannya?”
Lalu:
“Apakah data tersebut tersedia, cukup, benar, konsisten, relevan, terdokumentasi, dan dapat digunakan?”
Setelah itu barulah menentukan apakah solusi terbaiknya adalah:
Rule-Based System
Analytics
Machine Learning
Deep Learning
RAG
LLM
AI Agent
atau bahkan kombinasi beberapa pendekatan.
AI yang baik tidak selalu dimulai dari model yang paling canggih.
Sering kali, AI yang baik dimulai dari sesuatu yang jauh lebih sederhana:
data yang benar, terstruktur, terdokumentasi, dan dapat dipercaya.
Published by Nirantara
Nirantara is an Indonesian Enterprise AI company specializing in Enterprise AI, RAG, Intelligent Search, and AI Automation. Article written by jsturana.