Setiap kali jawaban sistem meleset, refleks pertama tim biasanya sama: ganti model. Padahal pada hampir semua kasus yang kami tangani, model bukan bagian yang rusak. Yang rusak adalah potongan teks yang sampai ke model.
Model hanya bisa menjawab dari apa yang diberikan padanya. Kalau retrieval mengambil tiga potongan yang salah, model yang paling mahal sekalipun akan menyusun kalimat meyakinkan di atas bahan yang keliru. Itu yang orang sebut halusinasi, padahal itu masalah pencarian.
Tiga hal yang paling sering memperbaiki keadaan: pemotongan dokumen yang mengikuti struktur asli (bab, pasal, bagian) alih-alih jumlah karakter tetap; metadata yang cukup untuk menyaring versi lama; dan peringkat ulang hasil sebelum masuk ke model.
Yang paling penting, semuanya harus diukur. Kumpulkan 200 sampai 300 pertanyaan nyata beserta jawaban benarnya, lalu jalankan tiap kali konfigurasi berubah. Tanpa itu, setiap perubahan hanya terasa lebih baik, dan perasaan bukan alat ukur.
Terakhir: wajibkan sistem mengutip sumber. Bukan demi tampilan, tapi karena pengguna butuh cara memverifikasi. Sistem yang bisa dicek akan dipercaya; sistem yang tidak bisa dicek akan ditinggalkan setelah kesalahan pertama.