AI halüsinasyonlarını yakalama: 3 koruma katmanı

AI halüsinasyonu pratikte neye benziyor?

Halüsinasyon, modelin emin görünen ama yanlış bir cevap üretmesidir. B2B'de üç klasik şekilde karşımıza çıkar: (1) müşteri sorgusu için var olmayan bir sipariş numarası uydurma, (2) sözleşmeyi özetlerken kaynakta olmayan bir tarihten "alıntı" yapma, (3) fatura sınıflandırırken kategoriler dışında yeni bir tane icat etme.

Üçü de aynı kalıba sahip: model, gerçek bir dayanak bulamadığında boşluğu doldurur. Sorun, çıktının özgüvenli görünmesidir — yanlış olsa bile. "AI yanlış" demek yeterli değil; nerede ve niye yanlış olduğunu yakalamak gerekir. Aşağıdaki üç guardrail bunu yapar.

Üç guardrail: kaynak, kural, insan

1) Kaynak alıntı: model her cevabı, kaynak belgenin ID'si veya satır numarasıyla birlikte döner. Kaynak yoksa "bilmiyorum" cevabını ver. Yanlış uydurma %80 düşer.

2) Kural ön kontrolü: çıktıyı domain kurallarına karşı doğrulayın — sipariş numarası 8 haneli mi? Fatura kategorisi listede mi? Tarih format geçerli mi? Bu basit Python kontrolleri çoğu halüsinasyonu yakalar.

3) İnsan ön onayı: yüksek riskli işlemler (geri ödeme, sözleşme imzası) AI tarafından önerilir ama bir insan onaylar. AI %95'i kendi başına yapsın; %5 istisna inceleme için size gelsin.

Üç koruma birlikte: bağımsız üçüncü taraf bir denetimde halüsinasyon oranı %2'nin altına düşer.

Üretime çıkmadan önce: değerlendirme süreci kurmak

Halüsinasyon oranını çıktılara göz atarak yakalayamazsınız; bir test setine ihtiyacınız var. Bilinen doğru cevaplara sahip 50-200 gerçek örnekten oluşan bir "altın set" oluşturun — eksik veri, belirsiz sorgular, kapsam dışı istekler gibi uç durumları da içersin. Bunu sadece lansmanda değil, her prompt veya model değişikliğinden önce modele karşı çalıştırın.

İki ayrı metriği ayrı takip edin: doğruluk (doğru cevabı verdi mi) ve çekimser kalma oranı (bilmediği zaman doğru şekilde "bilmiyorum" dedi mi). Hiç çekimser kalmayan bir model kendinden emin görünür ama daha risklidir; çok sık çekimser kalan model can sıkıcıdır ama daha güvenlidir. Doğru eşik, yanlış bir cevabın maliyetinin ertelenmiş bir cevaba göre ne kadar yüksek olduğuna bağlıdır.

Olağan durum testi kadar saldırgan (adversarial) test de önemlidir — modeli bilinçli olarak halüsinasyonu tetikleyecek sorgularla besleyin: var olmayan varlıklar hakkında sorular, iki kaydı karıştıran istekler, kaynağın ötesine ekstrapolasyon yapmasını isteyen promptlar. Kontrollü bir testte zarif şekilde başarısız olamıyorsa, üretimde de olamaz.

Bunu tek seferlik bir kapı değil, yaşayan bir hat olarak ele alın. Prompt'u her değiştirdiğinizde, model değiştirdiğinizde veya yeni bir kaynak belge eklediğinizde, dağıtımdan önce değerlendirme setini yeniden çalıştırın ve yeni doğruluk/çekimser kalma sayılarını referans değerle karşılaştırın. Bu, geleneksel yazılımdaki regresyon testiyle aynı disiplindir — sadece mantık yerine muhakemeyi test eder.

Hangi görevler halüsinasyon riski taşır

Her AI görevi aynı riski taşımaz, bu yüzden guardrail bütçenizi eşit dağıtmamalısınız. Açık uçlu üretim — bir müşteri e-postası taslağı, toplantı özeti, pazarlama metni yazmak — yaratıcılık için alan bırakır, ama halüsinasyonun saklandığı yer de tam olarak bu alandır: uydurma istatistikler, icat edilmiş alıntılar, şirketin hiç vermediği sözler. Bu en riskli kategoridir, çünkü kontrol edilecek sabit bir "doğru" çıktı yoktur, sadece kabul edilebilir bir aralık vardır.

Sayısal ve finansal veri çıkarımı hemen ardından gelir. Bir faturadan toplam tutarı çekmek, indirim hesaplamak, vergi numarası çıkarmak — buradaki hatalar sessizdir (rakam makul görünür) ve pahalıdır (doğrudan para hareketine girer). Hukuki ve tıbbi nitelikli iddialar (sözleşme yükümlülükleri, uyumluluk beyanları, doz veya güvenlik ifadeleri) de aynı yüksek risk katmanına girer: bir kez yanlış olduğunda ortaya çıkan zarar türü mahcubiyet değil, hukuki sorumluluktur.

Diğer uçta, sabit bir şemaya karşı yapılandırılmış çıkarım (bu özgeçmişi ad/e-posta/beceri olarak ayrıştır, bu talebi 12 kategoriden birine sınıflandır, bu işlemi bir satıcı koduyla etiketle) görece düşük risklidir. Modelin uydurma alanı azdır, çünkü çıktı uzayı sınırlıdır ve mekanik olarak doğrulanması kolaydır — kategorinin var olduğunu, e-postada @ işareti bulunduğunu, değerin 12 seçenekten biri olduğunu kontrol edebilirsiniz. Küçük ve kapalı bir kümeye sınıflandırma da aynı şekilde davranır: model yanlış olsa bile, tanımladığınız sınırlar içinde başarısız olur — bu temelde daha ucuz bir başarısızlık modudur.

Guardrail çabanızı nereye harcayacağınıza karar vermek için bu gradyanı kullanın. Düşük riskli, kapalı şemalı görevler genellikle hafif doğrulama ve nokta kontrolleriyle idare edilebilir. Yüksek riskli, açık uçlu veya sayısal/hukuki görevler ise otomasyonun bir müşteriye veya bir muhasebe defterine dokunmasına izin vermeden önce bir önceki bölümdeki tam yığını hak eder: kaynak alıntısı, kural kontrolleri ve döngüde bir insan.