Context Engineering: Mengapa AI Pintar Masih Bisa Memberikan Jawaban yang Salah?

Perkembangan Artificial Intelligence (AI) dalam beberapa tahun terakhir berlangsung sangat cepat. Model bahasa atau Large Language Model (LLM) semakin mampu memahami percakapan, menulis program, menganalisis dokumen, hingga membantu pengambilan keputusan.

Namun, ada sebuah pertanyaan menarik: mengapa AI yang sangat canggih masih bisa memberikan jawaban yang salah, bahkan ketika informasi yang benar sebenarnya tersedia?

Jawabannya tidak selalu terletak pada kemampuan model AI itu sendiri. Sering kali, masalahnya justru terletak pada informasi yang diberikan kepada model.

Di sinilah konsep Context Engineering menjadi penting.

Dari Prompt Engineering Menuju Context Engineering

Selama beberapa tahun terakhir, istilah Prompt Engineering menjadi sangat populer. Banyak orang mempelajari bagaimana menyusun pertanyaan atau instruksi agar AI menghasilkan jawaban yang lebih baik.

Misalnya, dibandingkan hanya menulis:

Jelaskan masalah pada aplikasi.

Kita dapat memberikan instruksi yang lebih spesifik:

Anda adalah seorang software engineer. Analisis masalah aplikasi berdasarkan pesan kesalahan, jelaskan kemungkinan penyebabnya, dan berikan langkah penyelesaian.

Instruksi kedua memberikan arahan yang lebih jelas. Inilah salah satu contoh penerapan Prompt Engineering.

Namun, bagaimana jika masalah tersebut hanya dapat diselesaikan dengan memahami konfigurasi aplikasi, log server, struktur database, atau riwayat kejadian sebelumnya?

Sehebat apa pun instruksi yang diberikan, AI tidak dapat memastikan penyebab masalah tanpa informasi yang memadai.

Prompt Engineering berfokus pada bagaimana kita memberikan instruksi kepada AI. Context Engineering berfokus pada bagaimana kita menyediakan informasi yang tepat agar AI dapat menjalankan instruksi tersebut.

Keduanya saling melengkapi.

Apa Itu Context Engineering?

Context Engineering adalah pendekatan dalam merancang, memilih, mengatur, dan memelihara informasi yang digunakan oleh model AI ketika memproses suatu permintaan.

Informasi tersebut dapat berupa:

Instruksi sistem dan aturan perilaku AI.
Pertanyaan pengguna.
Riwayat percakapan.
Dokumen dan basis pengetahuan.
Informasi dari database atau API.
Hasil pencarian melalui Retrieval-Augmented Generation (RAG).
Informasi mengenai tools yang tersedia.
Memori dan kondisi proses yang sedang berjalan.

Tujuannya bukan memberikan sebanyak mungkin informasi kepada AI, melainkan memberikan informasi yang paling relevan, akurat, dan diperlukan pada saat yang tepat.

Bayangkan seorang dokter diminta memberikan penilaian mengenai kondisi pasien.

Dokter tersebut mungkin memiliki pengetahuan medis yang sangat luas. Namun, tanpa mengetahui gejala, riwayat penyakit, hasil pemeriksaan, dan obat yang sedang dikonsumsi pasien, penilaiannya tentu memiliki keterbatasan.

Prinsip serupa berlaku pada AI.

Model yang canggih membutuhkan konteks yang tepat agar dapat menghasilkan jawaban yang sesuai dengan permasalahan.

Mengapa Konteks Sangat Penting?

Salah satu kesalahpahaman dalam pengembangan AI adalah anggapan bahwa model yang lebih besar selalu menghasilkan sistem yang lebih baik.

Padahal, kualitas sebuah aplikasi AI tidak hanya ditentukan oleh model yang digunakan.

Pertimbangkan sebuah perusahaan yang memiliki ratusan ribu tiket layanan pelanggan.

Seorang pengguna bertanya:

Mengapa transaksi saya gagal diproses?

Model AI yang tidak memiliki akses terhadap informasi internal perusahaan mungkin hanya memberikan kemungkinan umum, seperti gangguan jaringan, kesalahan input, atau masalah sistem.

Namun, apabila AI memperoleh konteks berupa kode kesalahan, status transaksi, dokumentasi aplikasi, dan riwayat penyelesaian masalah serupa, jawabannya dapat menjadi jauh lebih spesifik.

AI dapat menjelaskan kemungkinan penyebab berdasarkan bukti yang tersedia dan menyarankan langkah pemeriksaan yang sesuai.

Perbedaannya bukan semata-mata pada kecerdasan model.

Perbedaannya terletak pada kualitas informasi yang tersedia ketika model menghasilkan jawaban.

Apakah Semakin Banyak Konteks Semakin Baik?

Tidak selalu.

Model AI memiliki batas jumlah informasi yang dapat diproses dalam satu permintaan, yang dikenal sebagai context window.

Bahkan ketika kapasitas context window sangat besar, memasukkan terlalu banyak informasi tetap dapat menimbulkan masalah.

Misalnya, sebuah sistem AI menerima pertanyaan mengenai satu kesalahan transaksi, tetapi diberikan ribuan halaman dokumentasi yang sebagian besar tidak relevan.

Akibatnya:

Informasi penting dapat tertutup oleh informasi yang tidak diperlukan.
Model mungkin kesulitan menentukan sumber yang paling relevan.
Waktu pemrosesan dan penggunaan token dapat meningkat.
Informasi lama dapat bertentangan dengan informasi terbaru.
Risiko kesalahan interpretasi dapat meningkat.

Fenomena penurunan efektivitas penggunaan informasi dalam konteks yang terlalu panjang sering dibahas dengan istilah context rot.

Karena itu, Context Engineering bukan sekadar persoalan menambah informasi.

Justru tantangan utamanya adalah menentukan informasi mana yang benar-benar diperlukan.

Hubungan Context Engineering dengan RAG

Salah satu teknologi yang sangat berkaitan dengan Context Engineering adalah Retrieval-Augmented Generation (RAG).

RAG memungkinkan AI mengambil informasi dari sumber eksternal sebelum menghasilkan jawaban.

Secara sederhana, prosesnya adalah:

Pertanyaan Pengguna
        |
        v
Analisis Pertanyaan
        |
        v
Pencarian Informasi
        |
        v
Pemilihan Dokumen Relevan
        |
        v
Penyusunan Konteks
        |
        v
Large Language Model
        |
        v
Jawaban

Namun, implementasi RAG saja belum menjamin jawaban yang akurat.

Misalnya, sistem pencarian menemukan sepuluh dokumen yang dianggap relevan.

Apakah seluruh dokumen harus diberikan kepada LLM?

Belum tentu.

Sistem perlu mempertimbangkan relevansi, kualitas, tanggal pembaruan, kredibilitas sumber, dan hubungan antar informasi.

Dalam implementasi yang lebih matang, proses tersebut dapat melibatkan hybrid search, reranking, penyaringan metadata, dan penghapusan informasi yang berulang.

RAG merupakan salah satu mekanisme untuk memperoleh informasi, sedangkan Context Engineering mencakup bagaimana seluruh informasi tersebut dipilih, disusun, dan digunakan oleh AI.

Dengan kata lain, RAG dapat menjadi bagian dari Context Engineering, tetapi Context Engineering tidak terbatas pada RAG.

Context Engineering dalam AI Agent

Context Engineering menjadi semakin penting ketika AI berkembang dari chatbot menjadi AI Agent.

Chatbot umumnya menerima pertanyaan dan menghasilkan jawaban.

AI Agent dapat menjalankan proses yang lebih kompleks, misalnya membaca data, menggunakan tools, memanggil API, menganalisis hasil, dan melanjutkan pekerjaan berdasarkan kondisi tertentu.

Bayangkan sebuah AI Agent yang diminta:

Periksa seluruh tiket yang belum selesai dan buat laporan masalah yang paling sering terjadi minggu ini.

Untuk menyelesaikan pekerjaan tersebut, AI Agent mungkin perlu:

Memahami maksud permintaan pengguna.
Menentukan periode waktu yang dimaksud.
Memanggil API sistem tiket.
Mengambil data berdasarkan hak akses pengguna.
Mengelompokkan tiket berdasarkan kategori.
Menghitung jumlah kejadian.
Menyusun laporan berdasarkan hasil analisis.

Pada setiap tahapan, informasi yang dibutuhkan berbeda.

Ketika memanggil API, AI membutuhkan informasi mengenai parameter dan struktur API.

Ketika menganalisis data, AI membutuhkan hasil pengambilan data yang valid.

Ketika menyusun laporan, AI membutuhkan hasil analisis dan aturan penyajian.

Memberikan seluruh informasi sejak awal bukan selalu pendekatan terbaik.

Context Engineering memungkinkan sistem mengelola informasi secara dinamis sesuai kebutuhan setiap tahapan pekerjaan.

Hal ini juga menjelaskan mengapa membangun AI Agent bukan sekadar menghubungkan LLM dengan sejumlah API.

Diperlukan arsitektur yang mengatur aliran informasi, penggunaan tools, memori, keamanan, dan validasi hasil.

Contoh Penerapan dalam Sistem Perusahaan

Mari kita gunakan contoh sebuah perusahaan yang memiliki sistem layanan pelanggan.

Perusahaan tersebut ingin membangun AI Assistant yang mampu menjawab pertanyaan mengenai masalah aplikasi.

Sistem memiliki tiga sumber informasi utama:

Dokumentasi prosedur operasional.
Riwayat tiket dan penyelesaiannya.
API untuk melihat kondisi transaksi terbaru.

Ketika pengguna menanyakan masalah tertentu, sistem tidak harus memberikan seluruh dokumentasi dan riwayat tiket kepada model.

Sebaliknya, sistem dapat menjalankan proses berikut:

USER
  |
  v
Intent Classification
  |
  v
Context Requirement Analysis
  |
  +-----------------------+
  |                       |
  v                       v
Knowledge Retrieval     API / Database
  |                       |
  v                       v
Relevant Documents      Current Data
  |                       |
  +-----------+-----------+
              |
              v
      Context Selection
              |
              v
      Context Validation
              |
              v
       Context Assembly
              |
              v
             LLM
              |
              v
      Answer Validation
              |
              v
          RESPONSE

Arsitektur ini merupakan contoh konseptual, bukan satu-satunya cara membangun sistem.

Hal pentingnya adalah model hanya menerima informasi yang diperlukan untuk menyelesaikan tugas.

Selain itu, sistem harus memastikan bahwa pengguna memang memiliki izin mengakses informasi tersebut.

Konteks yang relevan tetapi tidak boleh diakses tetap tidak boleh diberikan kepada model.

Context Engineering Bukan Hanya Persoalan Akurasi

Penerapan Context Engineering juga berkaitan dengan efisiensi dan keamanan sistem.

1. Efisiensi penggunaan token

Semakin banyak informasi yang diproses, semakin besar potensi penggunaan sumber daya.

Pemilihan konteks yang tepat dapat membantu mengurangi token yang tidak diperlukan dan menekan biaya operasional.

2. Konsistensi jawaban

Dengan menggunakan sumber informasi yang jelas, mutakhir, dan tervalidasi, sistem dapat mengurangi kemungkinan jawaban yang saling bertentangan.

Namun, konsistensi tetap perlu diuji karena keluaran model bahasa tidak sepenuhnya deterministik.

3. Keamanan informasi

Sistem harus membatasi informasi berdasarkan hak akses pengguna.

Dokumen internal, data pribadi, dan informasi rahasia tidak boleh dimasukkan ke dalam konteks tanpa otorisasi yang sesuai.

Konten hasil retrieval juga harus diperlakukan sebagai data, bukan sebagai instruksi yang otomatis dipercaya.

4. Pengelolaan memori

Dalam percakapan panjang, tidak semua informasi sebelumnya perlu dipertahankan.

Sistem dapat menggunakan ringkasan, memori terstruktur, atau pemilihan riwayat percakapan yang relevan agar model tetap memahami konteks tanpa memproses seluruh percakapan.

5. Kemudahan evaluasi

Ketika konteks dikelola secara sistematis, pengembang dapat mengevaluasi apakah kesalahan berasal dari pencarian informasi, pemilihan konteks, data yang tidak akurat, atau proses generasi jawaban.

Hal ini membantu pengembang memperbaiki sistem secara lebih terarah.

Tantangan Implementasi Context Engineering

Meskipun konsepnya terlihat sederhana, penerapannya membutuhkan sejumlah keputusan teknis.

Pengembang perlu menentukan kapan sistem harus mencari informasi tambahan, bagaimana menilai relevansi dokumen, bagaimana menangani data yang saling bertentangan, dan kapan AI sebaiknya menyatakan bahwa informasi belum mencukupi.

Salah satu tantangan penting adalah memastikan bahwa konteks yang diberikan benar-benar membantu model.

Karena itu, Context Engineering perlu dilengkapi dengan proses evaluasi.

Beberapa indikator yang dapat digunakan antara lain:

Retrieval Relevance: Apakah dokumen yang ditemukan sesuai dengan pertanyaan?
Context Precision: Seberapa banyak informasi yang diberikan benar-benar relevan?
Context Recall: Apakah informasi penting berhasil ditemukan?
Faithfulness: Apakah jawaban didukung oleh sumber yang tersedia?
Answer Correctness: Apakah jawaban benar berdasarkan data rujukan?
Latency: Berapa lama sistem menghasilkan jawaban?
Token Usage: Berapa banyak token yang digunakan?

Evaluasi tersebut membantu memastikan bahwa peningkatan kualitas sistem tidak hanya berdasarkan kesan subjektif.

Masa Depan AI Engineering

Perkembangan AI menunjukkan bahwa membangun aplikasi berbasis LLM membutuhkan pendekatan rekayasa perangkat lunak yang semakin matang.

Kemampuan model tetap penting, tetapi tidak cukup.

Sistem AI modern juga membutuhkan data yang berkualitas, mekanisme pencarian informasi, integrasi API, pengelolaan konteks, keamanan, observability, dan evaluasi berkelanjutan.

Dalam konteks ini, Context Engineering menjadi salah satu disiplin penting dalam AI Engineering.

Pengembang tidak lagi hanya bertanya:

Model AI apa yang paling pintar?

Pertanyaan yang sama pentingnya adalah:

Bagaimana memastikan model memperoleh informasi yang benar, pada waktu yang tepat, untuk menyelesaikan tugas yang tepat?

Perubahan cara berpikir inilah yang membedakan penggunaan AI secara sederhana dengan pengembangan sistem AI yang siap digunakan dalam lingkungan nyata.

Kesimpulan

Context Engineering mengingatkan kita bahwa kecerdasan sebuah sistem AI tidak hanya ditentukan oleh kemampuan model bahasa.

Model yang sangat canggih tetap dapat menghasilkan jawaban keliru apabila informasi yang diterimanya tidak lengkap, tidak relevan, sudah kedaluwarsa, atau saling bertentangan.

Sebaliknya, model yang lebih kecil pun dapat memberikan hasil yang sangat berguna ketika didukung oleh informasi yang tepat dan arsitektur yang dirancang dengan baik.

Context Engineering bukan pengganti Prompt Engineering ataupun RAG. Ketiganya memiliki peran yang saling melengkapi dalam membangun sistem AI.

Pada akhirnya, tantangan pengembangan AI bukan sekadar membuat mesin mampu menjawab pertanyaan, melainkan membangun sistem yang mampu memahami kebutuhan informasi, menemukan sumber yang dapat dipercaya, dan menghasilkan jawaban yang dapat dipertanggungjawabkan.

Karena dalam pengembangan AI, bukan hanya seberapa pintar model yang kita gunakan, tetapi juga seberapa baik kita merancang informasi yang menjadi dasar pemikirannya.

Referensi

Anthropic (2025). Effective Context Engineering for AI Agents. https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents
OpenAI. Prompt Engineering. https://developers.openai.com/api/docs/guides/prompt-engineering
OpenAI (2025). Context Engineering — Short-Term Memory Management with Sessions. https://developers.openai.com/cookbook/examples/agents_sdk/session_memory
Anthropic (2026). Context Engineering: Memory, Compaction, and Tool Clearing. https://platform.claude.com/cookbook/tool-use-context-engineering-context-engineering-tools
Vishnyakova, V. V. (2026). Context Engineering: From Prompts to Corporate Multi-Agent Architecture. https://arxiv.org/abs/2603.09619