Halüsinasyon

Halüsinasyon; modelin olmayan bir kaynağı varmış gibi göstermesi, yanlış tarih veya isim vermesi ya da sorudaki boşluğu uydurma ayrıntıyla doldurması şeklinde görülebilir. Bu durum modelin kasıtlı olarak yalan söylemesi değil, olasılıksal üretim yapmasının bir sonucudur. RAG, kaynak zorunluluğu, yapılandırılmış doğrulama ve insan incelemesi riski azaltabilir. Hukuk, sağlık, finans ve güvenlik gibi alanlarda yanıt tek başına kanıt kabul edilmemelidir.

Çalışma mantığı: Model, eğitim dağılımında olası görünen token dizisini üretirken dış dünyada doğrulama yapmadığı için boşlukları akıcı bir tahminle doldurabilir. Kaynak bağlama, araçla doğrulama, alıntı denetimi ve cevap vermeme politikası riski azaltır.

Kullanım alanları: Yaratıcı taslaklarda tolere edilebilir; müşteri desteği, araştırma, raporlama ve karar desteğinde özel kontrol akışı gerektirir.

Sınırlılıklar: Güvenli görünen bir üslup doğruluk göstergesi değildir. Tarih, sayı, kişi, mevzuat ve kaynak bilgileri bağımsız olarak doğrulanmalıdır.