Apa itu halusinasi AI, dan bagaimana mencegahnya?

Apa yang dihitung sebagai halusinasi

Lembaga standar AS, National Institute of Standards and Technology, menyebutnya konfabulasi: generative AI menghasilkan konten yang keliru atau salah tetapi dinyatakan dengan yakin. Halusinasi adalah nama yang lebih umum. Istilah ini juga mencakup jawaban yang bertentangan dengan materi yang Anda berikan, atau bertentangan dengan ucapan model sebelumnya di chat yang sama.

Pada gambar dan video, detail aneh seperti jari berlebih atau objek yang meleleh kadang juga disebut halusinasi. Itu masalah kualitas, bukan klaim yang salah. Dalam karya kreatif, mengarang hal yang tidak ada justru sering menjadi tujuan. Halusinasi baru menjadi masalah saat Anda membutuhkan fakta.

Mengapa model bahasa berhalusinasi

Model bahasa menulis dengan memprediksi token berikutnya, potongan kecil teks, dari teks sejauh ini. Ia dilatih untuk menghasilkan teks yang mungkin, bukan teks yang benar. Sering kali yang mungkin dan yang benar bertumpang tindih, dan itulah mengapa model berguna. Kegagalan muncul di tempat keduanya tidak bertumpang tindih.

• Tidak ada pengecekan fakta bawaan. Tidak ada bagian dari prediksi token berikutnya yang membandingkan keluaran dengan dunia nyata.
• Fakta yang jarang dipelajari dengan lemah. Fakta yang hanya muncul beberapa kali dalam pelatihan mudah tercampur dengan fakta serupa, misalnya tahun lahir tokoh publik yang kurang terkenal.
• Menebak diberi ganjaran. Riset yang terbit pada 2025 berpendapat bahwa pelatihan dan penilaian benchmark yang umum memberi poin untuk tebakan yang yakin tetapi tidak untuk jawaban tidak tahu, sehingga model belajar menebak.
• Meniru kesalahan umum. Model yang dilatih dengan teks manusia bisa mengulang kesalahpahaman populer, hal yang memang diukur oleh benchmark TruthfulQA.
• Tekanan dari prompt. Pertanyaan yang mengandaikan hal salah, seperti meminta sekuel tahun 2019 dari film yang tidak punya sekuel, mengundang model ikut bermain.
• Konteks panjang atau berantakan. Detail di tengah masukan panjang lebih mudah terlewat atau tertukar.
• Batas pengetahuan. Model tidak tahu apa pun setelah data pelatihannya berakhir kecuali pencarian atau dokumen ditambahkan.

Tugas mana yang paling berisiko

Risikonya lebih bergantung pada apa yang Anda minta daripada pada modelnya.

Riset hukum adalah area bahaya yang terkenal. Pengadilan telah menjatuhkan sanksi kepada pengacara yang mengajukan dokumen berisi kasus pengadilan karangan chatbot.

Prompt yang mengurangi halusinasi

Metode paling efektif adalah grounding: berikan materi sumber kepada model dan suruh ia menjawab hanya dari materi itu. Ini juga gagasan di balik retrieval-augmented generation (RAG), saat sistem mencari dokumen lebih dulu lalu menaruh kutipan terbaik ke dalam prompt.

Weak prompt:
What is the refund period in our store policy?

Grounded prompt:
Answer using only the policy text below.
If the answer is not in the text, reply: Not stated in the policy.
Quote the exact sentence you used.

Policy:
<paste the policy text here>

Question: What is the refund period?

Setiap baris pada prompt grounded punya tugas. Hanya teks kebijakan di bawah membatasi sumber. Kalimat cadangan memberi model jawaban aman selain menebak. Kutip kalimat persisnya membuat Anda bisa memeriksa jawaban dalam hitungan detik.

Kebiasaan lain yang membantu:

1. Ajukan pertanyaan sempit. Satu fakta per pertanyaan lebih mudah dijawab benar daripada daftar panjang.
2. Izinkan ketidakpastian. Tambahkan baris seperti: Kalau kamu tidak yakin, katakan dan jelaskan apa yang bisa memastikannya.
3. Aktifkan pencarian atau penelusuran web untuk fakta terkini, lalu buka tautan yang dikutip jawabannya.
4. Minta penalaran atau langkah-langkah untuk masalah bertahap, dan periksa tiap langkah.
5. Jangan meminta sumber dari ingatan. Minta model mencari sumber dengan alat pencarian, atau cari sendiri lalu tempelkan.
6. Untuk kode, sebutkan versi pustaka dan tempelkan dokumentasi yang relevan, lalu jalankan kodenya.

Cara memeriksa jawaban AI

Gunakan daftar periksa ini sebelum Anda mengandalkan atau memublikasikan apa pun yang berisi fakta:

1. Buka setiap tautan dan DOI. Pastikan halamannya ada dan isinya sesuai dengan klaim jawaban.
2. Cari kutipan persis. Jika kutipan tidak ditemukan di sumber primer, jangan dipakai.
3. Cek setiap angka ke sumber primer, seperti situs statistik resmi, standar, atau makalah aslinya.
4. Waspadai tanda bahaya: angka sangat presisi tanpa sumber, daftar penulis yang terkesan generik, referensi yang tidak bisa ditemukan, dan jawaban yang berubah saat ditanya ulang.
5. Cari sumber kedua yang independen untuk klaim yang penting, bukan chatbot kedua.
6. Untuk pertanyaan hukum, medis, atau keuangan, minta orang yang berkualifikasi meninjau hasilnya.

Batas dari solusi-solusi ini

Tidak ada metode saat ini yang menghilangkan halusinasi sepenuhnya. Grounding dan RAG menurunkan angkanya tajam untuk pertanyaan yang bisa dijawab dokumen, tetapi model masih bisa salah membaca kutipan, menggabungkan dua kutipan, atau mengisi celah yang ditinggalkan dokumen. Alat pencarian bisa mengembalikan halaman berkualitas buruk, dan model bisa memercayainya.

Menurunkan temperature membuat jawaban lebih mudah diulang, bukan lebih akurat. Jika jawaban yang paling mungkin itu salah, model akan mengulang jawaban salah yang sama secara konsisten.

Model yang lebih baru sering berhalusinasi lebih sedikit pada pertanyaan umum, dan sebagian dilatih agar lebih sering mengakui ketidakpastian. Angkanya tetap berbeda menurut topik dan bahasa, jadi uji model dengan jenis pertanyaan Anda sendiri sebelum mengandalkannya, dan pertahankan pemeriksaan manusia di tempat kesalahan berbiaya mahal.