Guardrail LLM: Mengurangi Jawaban Salah soal Uang

Chatbot yang menjawab harga atau aturan dengan yakin bisa tetap salah. Guardrail adalah pemeriksaan yang membatasi jawaban sebelum diterima pengguna: cocokkan dengan sumber, turunkan kepastian saat bukti kurang, dan sediakan jalur ke manusia. LLM, model bahasa di balik chatbot, perlu diuji pada kasus yang tidak bisa dijawab. Pengaman mengurangi risiko, tanpa menjamin semua jawaban benar.

Jawaban tentang harga, biaya, pajak, atau klasifikasi regulasi memerlukan bukti yang dapat diperiksa. LLM menghasilkan teks berdasarkan pola yang dipelajarinya; kelancaran penjelasan tidak menunjukkan bahwa model mengetahui aturan yang berlaku untuk transaksi tertentu.

Tanpa pengaman, model bahasa dapat mengarang daftar biaya, aturan diskon, atau kode kepatuhan dengan rasa percaya diri yang sama persis seperti saat ia benar. Guardrail ada untuk menutup celah antara terdengar benar dan memang benar, sebelum jawaban itu sampai ke pengguna.

Verifikasi kutipan verbatim

Salah satu pengaman yang saya gunakan adalah mewajibkan kutipan persis dari materi sumber untuk setiap klaim. Sistem memeriksa apakah kutipan tersebut benar-benar ada. Parafrasa atau ringkasan saja belum memenuhi pemeriksaan ini.

Di asisten klasifikasi regulasi yang saya bangun, setiap vonis positif dari model — "kode ini berlaku," "aktivitas ini bidang utama usaha" — harus disertai kutipan yang disalin persis dari teks cakupan resmi kode itu. Ada langkah model penilai terpisah yang mengecek kutipan itu ke sumbernya.

Kalau kutipannya ternyata tidak benar-benar ada di teks, vonisnya dibuang. Sistem mundur ke jawaban deterministik sebagai gantinya. Toleransinya hanya satu: model boleh meringkas kalimat panjang menggunakan elipsis, selama kedua sisi potongannya tetap cocok. Yang dinilai bukan seberapa meyakinkan model terdengar, melainkan seberapa bisa dibuktikan kutipannya.

Pemeriksaan ini menangani satu jenis kegagalan: kesimpulan yang tampak masuk akal tanpa dukungan teks sumber. Keharusan menyertakan kutipan memberi aplikasi bahan yang dapat diverifikasi, meskipun makna dan relevansinya masih perlu diperiksa.

Jalur pengganti deterministik saat model tidak yakin

Verifikasi tidak boleh hanya lulus atau gagal tanpa jalan tengah. Ketika sebuah klaim lolos verifikasi tetapi tingkat keyakinannya — angka seberapa yakin sistem pada jawabannya sendiri — rendah, turunkan levelnya ke label yang lebih hati-hati. Ambang tingkat keyakinan otomatis menurunkan "ya" yang goyah menjadi "sebaiknya Anda cek ulang" — bukan membulatkannya jadi jawaban yang terlihat bersih.

Ketika model tidak menghasilkan apa pun yang bisa dipakai — tidak ada kutipan, keluaran berantakan, semua kandidat tingkat keyakinannya rendah — beralihlah ke jawaban berbasis aturan yang dihitung tanpa model sama sekali. Isinya: apa pun hasil logika retrieval dan pencocokan deterministik Anda sendiri.

Jawaban berbasis aturan mungkin kurang lancar, tetapi dasar perhitungannya dapat ditelusuri. Hasilnya tetap bisa salah jika aturan, data, atau konteks keliru. Karena itu, tampilkan sumber dan batas analisisnya, bukan menganggap jalur tanpa LLM otomatis benar.

"Saya tidak bisa menjawab" yang jujur lebih baik daripada karangan

Aplikasi juga harus dapat menolak atau menunda jawaban. Jika anggaran harian habis atau waktu analisis berakhir, jelaskan keadaan tersebut. Jangan menyajikan hasil yang lebih terbatas seolah seluruh analisis sudah selesai.

"Kami sedang penuh kapasitas, coba lagi sebentar" yang jujur hanya membuat pengguna mengulang sekali dengan sedikit kesal. Jawaban yang percaya diri tetapi salah menggerus kepercayaan pengguna ke semua jawaban berikutnya, termasuk yang benar.

Saya lebih rela asisten regulasi saya bilang kapasitasnya sedang penuh daripada diam-diam turun kelas jadi tebakan — sambil membiarkan pengguna mengira baru saja mendapat klasifikasi yang dianalisis penuh.

Kutipan yang benar-benar ada belum tentu mendukung kesimpulan. Periksa konteks, pengecualian, tanggal berlaku, dan apakah kutipan itu menjawab pertanyaan pengguna. Untuk keputusan finansial atau regulasi, hasil perlu diperiksa oleh pihak yang berwenang.

Membatasi apa yang boleh dijawab bot

Guardrail paling ketat ada di hulu semua yang lain: jangan biarkan model menjawab pertanyaan yang tidak bisa di-ground ke sumber — grounded artinya jawaban menunjuk sumber datanya, bukan karangan model. Alat pencarian yang terbatas mempersempit sumber, tetapi model tetap dapat mengarang di luar sumber itu. Aplikasi harus menolak jawaban tanpa bukti, memvalidasi keluaran di server, dan menyediakan jalur pemeriksaan manusia.

Batasi cakupan asisten pada pertanyaan yang didukung kumpulan sumber Anda. Untuk pertanyaan di luar cakupan, arahkan pengguna ke pemeriksaan manusia. Cakupan yang jelas memudahkan pengujian dan penilaian risiko.

Daftar periksa singkat

Sebelum merilis chatbot yang menyentuh pertanyaan yang berkaitan dengan keuangan atau regulasi:

1. Setiap klaim bisa dilacak ke potongan sumber yang spesifik dan bisa dikutip — tanpa kutipan, tanpa klaim.
2. Vonis dengan tingkat keyakinan rendah otomatis diturunkan levelnya, bukan dibulatkan ke atas.
3. Saat model tidak bisa menghasilkan jawaban yang grounded, jalur penggantinya deterministik, bukan tebakan yang tidak terverifikasi.
4. Saat kehabisan anggaran atau waktu, sistem bilang terus terang, bukan menyuguhkan jawaban kelas dua seolah-olah lengkap.
5. Cakupan bot sesuai dengan apa yang benar-benar bisa diverifikasi sumbernya, tidak lebih luas dari itu.

Daftar ini membantu sistem menyampaikan batas pengetahuannya dengan jelas. Untuk pertanyaan yang memengaruhi uang atau kepatuhan, kemampuan menahan jawaban yang belum terbukti sama pentingnya dengan kemampuan menghasilkan jawaban.

Untuk cara kerja lapisan retrieval di balik guardrail ini, lihat RAG dijelaskan untuk sistem bisnis.