AI halüsinasyonlarını yakalama: 3 koruma katmanı
AI hata yapar — mesele yakalama hızıdır. Doğrulanmış üç koruma katmanı: kaynak alıntı, kural ön kontrolü, insan ön onayı. Üretime gitmeden hatayı durdurun.
AI halüsinasyonu pratikte neye benziyor?
Halüsinasyon, modelin emin görünen ama yanlış bir cevap üretmesidir. B2B'de üç klasik şekilde karşımıza çıkar: (1) müşteri sorgusu için var olmayan bir sipariş numarası uydurma, (2) sözleşmeyi özetlerken kaynakta olmayan bir tarihten "alıntı" yapma, (3) fatura sınıflandırırken kategoriler dışında yeni bir tane icat etme.
Üçü de aynı kalıba sahip: model, gerçek bir dayanak bulamadığında boşluğu doldurur. Sorun, çıktının özgüvenli görünmesidir — yanlış olsa bile. "AI yanlış" demek yeterli değil; nerede ve niye yanlış olduğunu yakalamak gerekir. Aşağıdaki üç guardrail bunu yapar.
Üç guardrail: kaynak, kural, insan
1) Kaynak alıntı: model her cevabı, kaynak belgenin ID'si veya satır numarasıyla birlikte döner. Kaynak yoksa "bilmiyorum" cevabını ver. Yanlış uydurma %80 düşer.
2) Kural ön kontrolü: çıktıyı domain kurallarına karşı doğrulayın — sipariş numarası 8 haneli mi? Fatura kategorisi listede mi? Tarih format geçerli mi? Bu basit Python kontrolleri çoğu halüsinasyonu yakalar.
3) İnsan ön onayı: yüksek riskli işlemler (geri ödeme, sözleşme imzası) AI tarafından önerilir ama bir insan onaylar. AI %95'i kendi başına yapsın; %5 istisna inceleme için size gelsin.
Üç koruma birlikte: bağımsız üçüncü taraf bir denetimde halüsinasyon oranı %2'nin altına düşer. Setviva müşterilerinde bu yapıyı standart paketin parçası olarak kuruyoruz — pilot iki haftada hazır.