Ollama Cheatsheet: Perintah Penting untuk Menjalankan AI Lokal

Setelah memasang Ollama, biasanya ada beberapa pertanyaan praktis: bagaimana mengunduh model, melihat model yang sedang aktif, membebaskan memori, dan mengirim pertanyaan dari aplikasi?

Cheatsheet ini merangkum perintah yang paling sering dibutuhkan saat mengembangkan aplikasi AI lokal.

Pada contoh berikut, kita menggunakan model llama3.1:8b. Ganti nama tersebut jika Anda memakai model lain.

1. Mengelola model

Mengunduh model

ollama pull llama3.1:8b

Model perlu diunduh sebelum digunakan secara lokal. Ukuran unduhan bergantung pada model dan variannya, jadi pastikan ruang penyimpanan mencukupi.

Melihat model yang tersedia

ollama ls

Perintah ini menampilkan model yang tersimpan pada instalasi Ollama.

Menghapus model

ollama rm llama3.1:8b

Gunakan perintah ini jika model sudah tidak diperlukan dan Anda ingin mengosongkan ruang penyimpanan. Perhatikan perbedaan antara menghapus model dari disk dan mengeluarkan model dari memori, yang dibahas pada bagian berikut.

2. Menjalankan model

Membuka percakapan interaktif

ollama run llama3.1:8b

Setelah model siap, ketik pertanyaan langsung di terminal:

>>> Jelaskan apa itu RAG secara sederhana.

Mode interaktif cocok untuk mencoba prompt dan melihat bagaimana model menjawab sebelum dihubungkan ke aplikasi.

Mengirim satu pertanyaan langsung

ollama run llama3.1:8b "Apa perbedaan REST API dan GraphQL?"

Cara ini praktis untuk pengujian cepat tanpa membuka sesi percakapan interaktif.

3. Memeriksa penggunaan memori

Melihat model yang sedang dimuat

ollama ps

Perintah ini berguna saat memeriksa model yang sedang menggunakan RAM atau VRAM.

Mengeluarkan model dari memori

ollama stop llama3.1:8b

ollama stop menghentikan model yang sedang dimuat. Modelnya tetap tersimpan dan dapat dijalankan lagi tanpa mengunduh ulang.

Sebagai ringkasan:

Perintah	Dampak
`ollama stop llama3.1:8b`	Mengeluarkan model dari memori
`ollama rm llama3.1:8b`	Menghapus model yang tersimpan

Perbedaan ini penting, terutama ketika server memiliki RAM atau VRAM terbatas.

4. Menjalankan server Ollama

Untuk menjalankan server secara manual:

ollama serve

Secara bawaan, API lokal Ollama dapat diakses melalui:

http://localhost:11434

Pada instalasi tertentu, Ollama mungkin sudah berjalan sebagai aplikasi atau service. Jika demikian, Anda tidak perlu menjalankan ollama serve lagi.

5. Bertanya melalui API

Ollama menyediakan endpoint POST /api/chat. Berikut contoh mengirim pertanyaan dengan curl:

curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.1:8b",
    "messages": [
      {
        "role": "user",
        "content": "Jelaskan apa itu AI agent dalam dua kalimat."
      }
    ],
    "stream": false
  }'

Teks jawaban model berada pada field message.content dalam respons JSON.

Parameter "stream": false membuat Ollama mengirim satu respons lengkap. Ini memudahkan aplikasi Java untuk membaca hasilnya sebagai sebuah objek JSON. Tanpa pengaturan tersebut, respons dapat dikirim secara bertahap melalui streaming.

6. Menjaga model tetap berada di memori

Jika aplikasi sering mengirim pertanyaan, waktu respons pertama dapat terasa lebih lama karena model harus dimuat ke memori. Kita bisa menggunakan keep_alive:

curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.1:8b",
    "messages": [
      {
        "role": "user",
        "content": "Apa itu embedding?"
      }
    ],
    "stream": false,
    "keep_alive": "24h"
  }'

Nilai "24h" meminta Ollama mempertahankan model di memori selama 24 jam setelah permintaan. Sesuaikan dengan kapasitas RAM atau VRAM server. Jika ingin segera membebaskan memori, jalankan ollama stop llama3.1:8b.

7. Contoh alur kerja sehari-hari

Misalnya, kita ingin mencoba model baru sebelum menghubungkannya ke aplikasi Spring Boot:

# Unduh model
ollama pull llama3.1:8b

# Coba pertanyaan di terminal
ollama run llama3.1:8b "Jelaskan fungsi API secara sederhana."

# Lihat model yang tersimpan
ollama ls

# Lihat model yang sedang dimuat
ollama ps

# Bebaskan memori jika sudah selesai
ollama stop llama3.1:8b

Setelah hasilnya sesuai, aplikasi dapat memanggil /api/chat melalui HTTP. Inilah dasar dari endpoint seperti /api/ask pada aplikasi Java: Spring Boot menerima pertanyaan dari pengguna, mengirimkannya ke Ollama, lalu mengembalikan jawaban model.

Penutup

Ollama memudahkan developer untuk mulai bereksperimen dengan AI lokal. Untuk tahap awal, cukup kuasai empat kegiatan: mengunduh model, mencoba prompt, memanggil API, dan memantau penggunaan memori.

Ketika kebutuhan berkembang, API yang sama dapat menjadi bagian dari sistem yang lebih besar, misalnya asisten internal yang menggunakan dokumen perusahaan, SOP, atau riwayat tiket sebagai konteks jawaban.

Referensi: