AI Development Lebih dari Sekadar Prompt: Membangun Sistem AI yang Andal

Kemudahan menggunakan AI membuat banyak orang mulai mengenal prompt: instruksi yang diberikan kepada model untuk menghasilkan jawaban, membuat ringkasan, atau membantu menyelesaikan pekerjaan.

Dari sini muncul anggapan bahwa membangun AI cukup dilakukan dengan menulis prompt yang tepat.

Padahal, ketika AI akan digunakan dalam sebuah aplikasi atau proses bisnis, kebutuhan pengembangannya jauh lebih luas. Ada data yang harus disiapkan, sistem yang perlu diintegrasikan, akses yang harus dibatasi, dan kualitas jawaban yang perlu diuji.

Prompt tetap penting. Namun, prompt merupakan salah satu komponen dalam sistem yang lebih besar.

Memahami Prompt Engineering

Prompt engineering adalah proses merancang, menguji, dan memperbaiki instruksi agar model AI memberikan hasil yang sesuai dengan kebutuhan.

Misalnya, untuk membuat asisten layanan pelanggan, kita dapat menulis instruksi:

Jawab pertanyaan dalam bahasa Indonesia. Gunakan bahasa yang jelas dan sopan. Jika informasi tidak tersedia, sampaikan bahwa informasi tersebut belum ditemukan.

Instruksi tersebut membantu mengatur bahasa, gaya komunikasi, dan perilaku model.

Prompt engineering juga dapat mencakup pemberian contoh, penentuan format keluaran, serta pengujian berbagai versi instruksi menggunakan kumpulan pertanyaan yang sama.

Karena itu, prompt engineering bukan sekadar mencari kalimat yang terdengar bagus. Pada aplikasi yang serius, prompt perlu dinilai berdasarkan hasil yang terukur.

Namun, instruksi saja tidak otomatis memberikan akses ke dokumen perusahaan, memastikan data selalu terbaru, atau menentukan siapa yang berhak melihat informasi tertentu.

Kebutuhan tersebut harus ditangani melalui pengembangan sistem.

Apa yang Dimaksud dengan AI Development?

AI Development adalah proses mengembangkan solusi yang menggunakan kemampuan AI untuk menyelesaikan suatu kebutuhan.

Cakupannya dapat berupa pengembangan model maupun pengembangan aplikasi yang memanfaatkan model yang sudah tersedia.

Artinya, developer tidak selalu harus melatih model dari awal untuk membangun solusi AI. Mengintegrasikan model dengan data, API, aplikasi, dan proses bisnis juga merupakan bagian dari AI Development.

Dalam konteks aplikasi berbasis Large Language Model atau LLM, pekerjaan tersebut dapat mencakup:

Menentukan masalah yang akan diselesaikan.
Menyiapkan dan mengelola sumber data.
Memilih model yang sesuai.
Merancang prompt dan konteks.
Mengembangkan pencarian informasi.
Mengintegrasikan API dan database.
Mengatur autentikasi dan hak akses.
Menguji kualitas keluaran.
Mengelola biaya dan waktu respons.
Memantau sistem setelah digunakan.

Ukuran keberhasilannya juga lebih luas daripada apakah AI bisa memberikan jawaban.

Sistem perlu memberikan hasil yang relevan, menjaga batas akses, menangani kegagalan, dan tetap dapat dipelihara ketika kebutuhan berubah.

Hubungan AI Development dan Prompt Engineering

Keduanya memiliki hubungan yang saling melengkapi.

Aspek	Prompt Engineering	AI Development
Fokus utama	Merancang instruksi dan contoh untuk model	Mengembangkan keseluruhan solusi berbasis AI
Cakupan	Perilaku dan keluaran model melalui prompt	Data, model, prompt, integrasi, keamanan, dan operasional
Contoh pekerjaan	Menguji instruksi agar ringkasan mengikuti format tertentu	Membangun aplikasi peringkas dengan unggah dokumen, hak akses, dan monitoring
Evaluasi	Menilai pengaruh perubahan prompt terhadap hasil	Menilai kualitas dan kinerja sistem secara menyeluruh
Hubungan	Dapat menjadi bagian dari AI Development	Dapat menggunakan prompt engineering sebagai salah satu komponennya

Prompt yang baik dapat meningkatkan kualitas aplikasi. Sebaliknya, aplikasi dengan integrasi yang lengkap tetap dapat menghasilkan jawaban yang buruk jika instruksi dan konteksnya tidak dirancang dengan baik.

Keduanya perlu dikembangkan sesuai kebutuhan.

RAG Termasuk AI Development

Retrieval-Augmented Generation atau RAG adalah pendekatan yang menggabungkan pencarian informasi dengan kemampuan model generatif.

Sebelum menghasilkan jawaban, sistem mengambil informasi yang relevan dari sumber tertentu. Informasi tersebut kemudian dimasukkan ke dalam konteks yang diberikan kepada model.

Sumbernya dapat berupa SOP, dokumentasi produk, peraturan, atau knowledge base perusahaan.

Sebagai contoh, pengguna bertanya:

Bagaimana prosedur mengajukan perubahan akses aplikasi?

Sistem RAG mencari dokumen yang berkaitan dengan perubahan akses, mengambil bagian yang relevan, lalu meminta model menyusun jawaban berdasarkan informasi tersebut.

Dalam penggunaan RAG yang umum, dokumen tidak dipakai untuk melatih ulang model setiap kali ada perubahan. Dokumen dikelola sebagai sumber informasi yang dapat dicari ketika diperlukan.

Karena melibatkan pengolahan data, pencarian, penyusunan konteks, integrasi model, dan evaluasi, pengembangan RAG termasuk AI Development.

Namun, RAG merupakan salah satu pendekatan dalam pengembangan AI. Aplikasi klasifikasi, prediksi, pengenalan gambar, atau deteksi anomali dapat menggunakan pendekatan yang berbeda.

Mengembangkan RAG Memerlukan Lebih dari Mengunggah Dokumen

Demo RAG dapat dibuat dengan relatif cepat. Sistem untuk operasional membutuhkan perhatian lebih besar terhadap kualitas data dan perilakunya.

Berikut beberapa pekerjaan yang perlu dipertimbangkan.

1. Menyiapkan Sumber Informasi

Dokumen perusahaan sering memiliki format yang beragam. Ada PDF berbasis teks, hasil pemindaian, tabel, dokumen lama, dan beberapa versi SOP yang isinya berbeda.

Developer perlu memastikan bahwa informasi dapat dibaca dengan benar dan sumber yang digunakan memang layak menjadi acuan.

Jika dokumen lama dan dokumen terbaru bercampur tanpa penanda versi, sistem dapat mengambil prosedur yang sudah tidak berlaku.

2. Membagi Dokumen dengan Mempertahankan Makna

Dokumen panjang biasanya dibagi menjadi potongan yang lebih kecil, sering disebut chunk.

Pembagian ini perlu mempertahankan hubungan antarbagian. Sebuah langkah prosedur dapat kehilangan makna jika dipisahkan dari syarat, pengecualian, atau judul bagiannya.

Strategi pembagian yang sesuai untuk SOP belum tentu cocok untuk peraturan atau tabel.

3. Merancang Pencarian

RAG tidak selalu harus menggunakan vector database. Pencarian dapat memakai kata kunci, pencarian semantik, atau gabungan keduanya.

Pilihan tersebut perlu disesuaikan dengan karakter data.

Kode tiket atau nomor dokumen, misalnya, sering membutuhkan pencocokan yang tepat. Pertanyaan yang menggunakan istilah berbeda dari dokumen dapat terbantu oleh pencarian semantik.

Tujuannya adalah mengambil informasi yang benar-benar membantu menjawab pertanyaan.

4. Menyusun Konteks dan Jawaban

Hasil pencarian perlu disusun menjadi konteks yang cukup, relevan, dan dapat dipahami model.

Pada tahap ini, prompt engineering berperan untuk mengarahkan model agar menggunakan sumber yang diberikan, menyertakan rujukan, dan menyampaikan keterbatasan ketika bukti belum cukup.

RAG dapat membantu mengurangi jawaban yang tidak berdasar, tetapi tidak menjamin setiap jawaban pasti benar. Informasi yang salah saat pencarian tetap dapat menghasilkan jawaban yang salah.

5. Menguji Kualitas Sistem

Evaluasi perlu memeriksa pencarian dan jawaban secara terpisah.

Apakah sistem menemukan dokumen yang tepat? Apakah jawaban sesuai dengan isi dokumen tersebut? Apakah rujukannya mendukung pernyataan yang diberikan?

Dengan pemisahan ini, developer dapat mengetahui apakah masalah berasal dari data, pencarian, penyusunan konteks, atau respons model.

Contoh: Asisten AI untuk Helpdesk

Bayangkan sebuah perusahaan ingin membangun asisten untuk membantu tim helpdesk menjawab pertanyaan pengguna.

Pada tahap awal, tim membuat prompt:

Anda adalah asisten helpdesk. Berikan solusi yang jelas dan mudah dipahami.

Instruksi tersebut membantu membentuk gaya jawaban. Namun, model belum otomatis mengetahui SOP internal atau penyelesaian tiket yang sudah diverifikasi.

Pengembangan berikutnya dapat mencakup:

Mengumpulkan SOP dan riwayat penyelesaian tiket yang layak digunakan.
Membersihkan data serta menghapus informasi sensitif yang tidak diperlukan.
Menambahkan metadata, seperti aplikasi, kategori masalah, tanggal, dan versi.
Membangun pencarian untuk menemukan kasus atau prosedur yang relevan.
Mengarahkan model agar menjawab berdasarkan hasil pencarian.
Menampilkan sumber yang mendukung jawaban.
Menguji sistem menggunakan pertanyaan nyata dari helpdesk.
Menyediakan jalur eskalasi ketika informasi belum cukup.

Pada tahap ini, tim sudah mengembangkan sistem AI yang terhubung dengan kebutuhan operasional.

Prompt tetap menjadi bagian penting, tetapi kualitas solusi juga bergantung pada data, pencarian, akses, dan mekanisme evaluasinya.

Pertanyaan Berbeda Dapat Membutuhkan Mekanisme Berbeda

Tidak semua pertanyaan sebaiknya dijawab melalui RAG.

Pertanyaan tentang prosedur dapat menggunakan pencarian dokumen. Pertanyaan tentang status tiket terbaru mungkin perlu memanggil API. Pertanyaan tentang jumlah tiket bulan ini lebih tepat dijawab menggunakan perhitungan dari database.

Kebutuhan	Pendekatan yang dapat digunakan
Menjelaskan SOP	RAG terhadap dokumen yang berlaku
Menampilkan status tiket terbaru	API sistem ticketing
Menghitung jumlah tiket	Query database dengan aturan akses
Mengelompokkan jenis keluhan	Model klasifikasi atau LLM yang telah dievaluasi
Menyusun ringkasan hasil pencarian	LLM dengan konteks yang relevan

Developer perlu menentukan dari mana jawaban diperoleh dan bagaimana hasilnya diverifikasi.

Model dapat membantu memahami pertanyaan dan menyusun penjelasan. Untuk angka atau status aktual, sumber data operasional perlu menjadi acuan.

Dari Demo Menuju Sistem yang Dapat Digunakan

Demo biasanya menunjukkan bahwa sebuah pendekatan dapat bekerja pada beberapa contoh.

Sistem produksi harus menghadapi pertanyaan ambigu, data yang belum lengkap, perubahan dokumen, gangguan layanan, dan penggunaan secara bersamaan.

Beberapa keputusan yang perlu dibuat antara lain:

Apa yang dilakukan ketika sumber informasi tidak ditemukan?
Bagaimana mencegah pengguna menerima data di luar hak aksesnya?
Bagaimana pembaruan dokumen masuk ke indeks pencarian?
Bagaimana sistem menangani layanan model yang tidak tersedia?
Bagaimana kualitas jawaban dipantau?
Kapan permintaan harus dialihkan kepada manusia?

Hak akses perlu diterapkan pada aplikasi dan proses pengambilan data. Instruksi di dalam prompt tidak dapat dijadikan satu-satunya pengaman.

Demikian pula, dokumen yang diambil perlu diperlakukan sebagai sumber informasi, bukan otomatis sebagai instruksi yang boleh mengubah perilaku sistem.

Mulai dari Masalah yang Jelas

Pengembangan AI tidak harus dimulai dengan arsitektur yang kompleks.

Jika kebutuhan hanya merangkum teks yang diberikan pengguna, aplikasi sederhana dengan prompt yang teruji mungkin sudah cukup.

Jika jawaban perlu mengacu pada banyak dokumen internal yang terus diperbarui, RAG dapat dipertimbangkan.

Jika sistem perlu membaca data aktual atau menjalankan tindakan, integrasi API dan kontrol tambahan mungkin diperlukan.

Kompleksitas sebaiknya mengikuti kebutuhan yang terbukti. Setiap komponen perlu memiliki tujuan dan manfaat yang dapat dievaluasi.

Penutup

Prompt engineering membantu mengarahkan model. AI Development menghubungkan kemampuan model dengan data, aplikasi, pengguna, dan proses bisnis.

Pengembangan RAG adalah salah satu contoh hubungan tersebut: prompt digunakan bersama pengolahan dokumen, pencarian informasi, integrasi, dan evaluasi untuk menghasilkan solusi yang berguna.

Bagi Nirantara, pembahasan AI perlu mencakup bagaimana teknologi dibangun dan digunakan dalam pekerjaan nyata. Nilainya terlihat ketika sistem membantu menyelesaikan masalah dengan hasil yang dapat diperiksa dan proses yang dapat dipelihara.

Membangun AI berarti merancang seluruh proses yang memungkinkan kemampuan model menjadi layanan yang andal.