Dört boşluğu ayırın
Sistemde ilgili belge olmayabilir, yanlış pasaj gelebilir, gelen pasaj istenen iddiayı desteklemeyebilir veya kullanıcı yetkisi belgeyi gizleyebilir. Bunlar kullanıcı ve hata ayıklama için farklı durumlardır. Belge var ama erişimi kısıtlıysa kullanıcıya politikanın yok olduğunu söylemeyin. Benzer sözcük içeriyor diye yakın pasajdan zorla yanıt üretmeyin. Kısıtlı içeriği açıklamadan; sonuç yok, düşük ilgi, yetersiz dayanak ve çelişen sürüm için iç gerekçe kodları tasarlayın.
Kanıtı iddia iddia denetleyin
Önerilen yanıtı olgusal iddialara ayırıp her birini gelen pasajla karşılaştırın. Ragas dayanaklılık ölçüsü iddiaların bağlamla desteklenmesini değerlendirmeyi tanımlar. Kaynak bağlantısı tek başına yetmez; sayfa konuyu konuşur ama tam kuralı söylemeyebilir. Sorunun yalnızca bir kısmı destekleniyorsa onu atıfla yanıtlayın, kalanını açıkça bilinmiyor diye işaretleyin. Ürün şirket belgelerinden yanıt vaat ediyorsa boşluğu modelin genel bilgisinden doldurmayın.
Yanıt yok test kümesi kurun
Koleksiyonda bulunmayan olgular, gelecekteki politika değişimi, eski sürüm, onaysız taslak, belirsiz tarih ve test kimliğinin okuyamadığı belgeyle ilgili sorular ekleyin. Modeli çıkarım yapmaya iten yakın eşleşmeleri de ekleyin. Doğru davranışı tam yanıt, kısmi yanıt, açıklama isteği veya yanıtsız bırakma diye etiketleyin. Olayları sözcüksel, vektör ve karma aramada çalıştırın; Azure karma arama rehberi yöntemlerin farklı aday pasajlar bulabileceğini açıklar. Yanıtsızlık eşiğini bu gerçekçi dağılımda seçin.
Yan hak politikası örneği
Çalışan, bakmakla yükümlü olduğu kişinin 26 yaş sonrasında kapsamda olup olmadığını sorsun. Gelen politika bağımlı kapsamını anlatsın ama yaş kuralı vermesin. Dayanaklı yanıt mevcut pasajın yaş sınırını belirlemediğini söylemeli, bölüme atıf vermeli ve çalışanı yan hak ekibine ya da ayrıntılı politikaya yönlendirmeli. Başka sigortacı böyle yapıyor diye evet demek desteksizdir. Güncel ve eski politika çelişirse benzerlik puanıyla seçim yerine sürüm sorununu açıkça belirtip doğrulama isteyin.
Yanıtsızlığı yararlı kılın
Kullanıcının erişebildiği aranan belgeleri, kullanılan tarih veya sürümü ve kısa sonraki adımı gösterin. Hattı iyileştirmek için iç hata gerekçesi, sorgu, gelen kimlikler ve inceleme sonucunu kaydedin. Desteksiz yanıt ile gereksiz yanıtsızlık oranını birlikte ölçün; hiç yanıtlamayan sistem güvenli görünür ama işe yaramaz. Para, istihdam veya müşteri kaydını etkileyen eylemlerde daha güçlü kanıt isteyin. Yanıtsız olaylarda yalnızca modeli değil eksik içe alma ve politika belgesini de araştırın. Ret ve yönlendirme yanıtlarını tasarlamak, kullanıcının güvenebileceği RAG ve anlamsal arama çözümleri kurma biçimimizin parçasıdır.
Teknik kaynaklar: Ragas dayanaklılık ölçüsü, Azure karma bilgi getirme. İlgili rehber. Bu yaklaşımı uygulamadan önce kaynakları kendi veriniz, yetkileriniz ve sürümünüzle karşılaştırın.