Guardrail Melawan Halusinasi Saat Chatbot Menjawab Soal Uang

Guardrail Melawan Halusinasi Saat Chatbot Menjawab Soal Uang

Bahaya sesungguhnya bukan chatbot yang tidak tahu jawabannya. Bahayanya adalah chatbot yang terdengar yakin, padahal salah. Pengguna yang dapat jawaban ragu-ragu akan mengecek ke manusia. Pengguna yang dapat angka spesifik dengan penyampaian lancar akan langsung bertindak — dan orang lain di hilir yang menanggung akibatnya.

Inilah masalah inti kalau LLM dipasang untuk menjawab apa pun yang menyangkut uang: harga, biaya, klasifikasi pajak, kode regulasi mana yang berlaku untuk sebuah transaksi. Model tidak punya konsep bawaan "saya sebenarnya tidak tahu ini." Ia cuma menghasilkan token berikutnya yang paling mungkin secara statistik, benar atau tidak.

Tanpa pengaman, language model akan mengarang daftar biaya, aturan diskon, atau kode kepatuhan dengan rasa percaya diri yang sama persis seperti saat ia benar. Guardrail ada untuk menutup celah antara terdengar benar dan memang benar, sebelum jawaban itu sampai ke pengguna.

Verifikasi kutipan verbatim

Bayangkan wartawan yang menolak memuat klaim narasumber tanpa bukti tertulis di tangan. Guardrail paling andal yang pernah saya pakai kerja persis begitu: sebelum menerima klaim apa pun dari model, wajibkan ia menghasilkan kutipan verbatim dari materi sumber yang mendukung klaim itu. Bukan parafrase, bukan ringkasan — potongan teks persis yang benar-benar ada di dokumen.

Di asisten klasifikasi regulasi yang saya bangun, setiap vonis positif dari model — "kode ini berlaku," "aktivitas ini bidang utama usaha" — harus disertai kutipan yang disalin persis dari teks cakupan resmi kode itu. Ada langkah judge terpisah yang mengecek kutipan itu ke sumbernya.

Kalau kutipannya ternyata tidak benar-benar ada di teks, vonisnya dibuang. Sistem mundur ke jawaban deterministik sebagai gantinya. Toleransinya cuma satu: model boleh meringkas kalimat panjang pakai elipsis, selama kedua sisi potongannya tetap cocok. Yang dinilai bukan seberapa meyakinkan model terdengar, melainkan seberapa bisa dibuktikan kutipannya.

Satu pemeriksaan ini menutup satu pola kegagalan yang spesifik dan sering terjadi: model bernalar menuju kesimpulan yang terdengar masuk akal, tanpa pernah benar-benar membaca bagian sumber yang bisa membenarkan atau membantahnya. Mewajibkan kutipan memaksa model menunjuk teks nyata, bukan cuma berputar-putar di sekitarnya.

Fallback deterministik saat model tidak yakin

Verifikasi tidak boleh cuma lulus atau gagal tanpa jalan tengah. Ketika sebuah klaim lolos verifikasi tapi confidence-nya — angka seberapa yakin sistem pada jawabannya sendiri — rendah, turunkan levelnya ke label yang lebih hati-hati. Ambang confidence otomatis menurunkan "ya" yang goyah menjadi "sebaiknya Anda cek ulang" — bukan membulatkannya jadi jawaban yang terlihat bersih.

Ketika model tidak menghasilkan apa pun yang bisa dipakai — tidak ada kutipan, output berantakan, semua kandidat confidence-nya rendah — beralihlah ke jawaban berbasis aturan yang dihitung tanpa model sama sekali. Isinya: apa pun hasil logika retrieval dan pencocokan deterministik Anda sendiri.

Jawaban itu memang lebih hambar dan kurang lancar dibanding respons LLM yang bagus. Tapi tidak pernah dikarang. Pengguna selalu lebih percaya jawaban hambar-tapi-benar daripada lancar-tapi-salah.

"Saya tidak bisa menjawab" yang jujur lebih baik daripada karangan

Guardrail yang paling tidak enak dibangun justru yang paling penting: kadang jawaban yang benar adalah menolak menjawab. Ketika budget harian sistem habis, atau batas waktu menjawab habis sebelum model selesai bekerja, muncul godaan untuk tetap menyuguhkan sesuatu — respons non-LLM yang lebih lemah tapi didandani supaya terlihat lengkap. Jangan.

"Kami sedang penuh kapasitas, coba lagi sebentar" yang jujur cuma membuat pengguna mengulang sekali dengan sedikit kesal. Jawaban yang percaya diri tapi salah menggerus kepercayaan pengguna ke semua jawaban berikutnya, termasuk yang benar.

Saya lebih rela asisten regulasi saya bilang kapasitasnya sedang penuh daripada diam-diam turun kelas jadi tebakan — sambil membiarkan pengguna mengira baru saja mendapat klasifikasi yang dianalisis penuh.

Membatasi apa yang boleh dijawab bot

Guardrail paling ketat ada di hulu semua yang lain: jangan biarkan model menjawab pertanyaan yang tidak bisa di-ground ke sumber — grounded artinya jawaban menunjuk sumber datanya, bukan karangan model. Sistem yang dibangun di sekitar satu set tool retrieval tetap — search, detail lookup, comparison — memang tidak punya jalan untuk melenceng ke topik di luar cakupan tool-tool itu. Tidak ada apa pun untuk di-retrieve, tidak ada apa pun untuk dikutip.

Batasi asisten pada apa yang benar-benar bisa didukung corpus sumber Anda. Tahan godaan untuk menjadikannya penasihat serba bisa. Bot sempit yang selalu grounded mengalahkan bot luas yang cuma hampir selalu grounded — dan di celah "hampir" itulah kegagalan soal uang bersembunyi.

Daftar periksa singkat

Sebelum merilis chatbot yang menyentuh apa pun yang berbau finansial atau regulasi:

1. Setiap klaim bisa dilacak ke potongan sumber yang spesifik dan bisa dikutip — tanpa kutipan, tanpa klaim.
2. Vonis dengan confidence rendah otomatis diturunkan levelnya, bukan dibulatkan ke atas.
3. Saat model tidak bisa menghasilkan jawaban yang grounded, fallback-nya deterministik, bukan tebakan yang tidak terverifikasi.
4. Saat kehabisan budget atau waktu, sistem bilang terus terang, bukan menyuguhkan jawaban kelas dua seolah-olah lengkap.
5. Cakupan bot sesuai dengan apa yang benar-benar bisa diverifikasi sumbernya, tidak lebih luas dari itu.

Tidak satu pun dari daftar ini membuat sistem lebih pintar. Yang berubah: sistem jadi jujur soal batas pengetahuannya sendiri. Justru sifat itulah yang paling penting saat uang sungguhan dipertaruhkan.

Untuk cara kerja lapisan retrieval di balik guardrail ini, lihat RAG dijelaskan untuk sistem bisnis.