RAG nedir, kaynak atfı neden tek başına yeterli değildir?
RAG, yani bilgi getirme destekli üretim (retrieval-augmented generation), dil modelinin yanıtını dış kaynaklardan getirilen metne dayandıran yöntemdir. Kaynak atfı, okurun bir iddiayı hangi belge ve pasaj üzerinden kontrol edebileceğini gösterir. Bağlantının açılması ilk kontroldür; ilgili pasajın tam iddiayı desteklemesi, doğru tarihte geçerli olması ve kullanıcının erişimine uygunluğu ayrı kontrollerdir. Gerçek bir belgeye giden atıf yanlış paragrafa, eski sürüme veya cümlenin yalnız yarısını destekleyen metne işaret edebilir.
RAG atıflarında doğruluk ve sadakati ayıran araştırma, metnin iddiayı desteklemesiyle modelin gerçekten o kaynağa dayanmasını birbirinden ayırır. Bir model önceden bildiği cevaba sonradan uygun bir bağlantı yakıştırabilir. Bu yüzden doğru atıf, üretim sürecinde o kaynağın kullanıldığının tek başına kanıtı değildir. Kurumsal asistanda önce okurun doğrulayabileceği destek ilişkisini kurun; kaynak kullanımını araştıran testleri ayrı tasarlayın. Öte yandan desteklenen cevap da yanlış bölge, tarih veya ürün için geçersiz olabilir. Siz soruyu “Atıf var mı?” düzeyinden “Bu iddia, bu kullanıcı ve bu durum için bu pasajla doğrulanabilir mi?” düzeyine taşımalısınız.
RAG atıfları nasıl test edilir?
Yanıtı tek bir doğru veya yanlış etiketiyle değerlendirmek hatanın yerini gizler. Aşağıdaki test vakaları, bağlantının, desteğin ve uygulanabilirliğin bağımsız değerlendirildiği bir başlangıç kümesidir. Her vakada soruyu, geçerli kaynak sürümünü, tam pasajı ve beklenen davranışı saklayın. Aynı paragrafta birden fazla iddia bulunuyorsa bunları ayırın; sayının doğru olması kapsamın da doğru olduğunu göstermez. Kısmen desteklenen cümleyi yalnız puanlamak yerine kaynakla doğrulanabilen ve doğrulanamayan bölümlerini işaretleyin.
| Test vakası | Beklenen etiket | Kabul davranışı |
|---|---|---|
| Doğru sürüm, tam destek | Destekleniyor, uygulanabilir | İddiayı pasajla göster |
| Doğru belge, yanlış paragraf | Atıf eşlemesi yanlış | Tam pasajı yeniden bağla |
| Cümlenin yalnız yarısı kaynakta | Kısmen destekleniyor | İddiayı ayır, desteksiz kısmı çıkar |
| Eski politika aynı sayıyı içeriyor | Destekli, uygulanamaz | Geçerli sürümü getir |
| İstisna dipnotu getirilmemiş | Kanıt kapsamı eksik | Dipnotu getir veya yanıtı sınırla |
| Atıf kullanıcının yetkisi dışında | Erişim ihlali | Yetki filtresini aramada uygula |
Etiketleri hata sahibine bağlayın. Yeni politikanın bulunmaması içe alma veya getirme sorunudur. Yeni politika getirildiği hâlde eski metnin kullanılması üretim sorunudur. Doğru pasajın yanlış bağlantıyla gösterilmesi atıf eşleme sorunudur. Yanıt akıcı ve doğru olsa bile yetki ihlali kabul edilemez.
İddia ve kaynak ilişkisi nasıl korunur?
İçe alma sırasında kararlı belge kimliği, sürüm kimliği, başlık, yürürlük aralığı, sayfa veya paragraf aralığı ve pasaj kimliği tutun. Kaynak URL'sini bunlarla ilişkilendirin. Aynı URL yeni dosyayla değişebileceğinden yalnız bağlantı yeterli değildir; içerik özet değeri veya değişmez sürüm kopyası, hangi metnin kullanıldığını doğrulamayı kolaylaştırır. Tablo başlığı ve dipnotu, ilgili hücreyle birlikte izlenebilsin. Son kullanıcı belgeyi açamıyorsa atıf çözümleyicisi de erişimi genişletmemelidir.
Üreticiye izinli kaynak kimliklerinden oluşan açık bir liste verin. Yanıttaki her iddia bu listedeki bir veya birkaç pasajla ilişkilensin; modelin yeni belge kimliği veya rastgele URL üretmesini kabul etmeyin. Kimliğin listedeki varlığı ilk kontroldür, anlamsal destek ikinci kontroldür. “4.000 TL üzerindeki tüm oteller” gibi cümleyi tutar sınırı, konaklama türü ve onay gerekliliği olarak ayırın. Sayıyı taşıyan pasajın “tüm” sözcüğünü veya istisnaları destekleyip desteklemediğine ayrıca bakın.
Destek etiketlerini destekleniyor, kısmen destekleniyor, desteklenmiyor ve kontrol edilemiyor olarak tanımlayın. Son etiket, kaynağın bozuk olduğu veya gerekli bilginin bulunmadığı durumda kullanışlıdır; desteksiz cevabı doğru saymanın yolu değildir. Güncellik, kapsam ve erişimi bu etiketlerin yanında ayrı alanlarda tutun. Doğru eski pasaj “destekleniyor” olabilir ama güncel yanıt için uygulanamaz. Birden fazla pasaj birlikte kanıt oluşturuyorsa aralarındaki ilişkiyi de inceleyin; iki ayrı doğru maddeyi birleştirerek kaynakta olmayan genel sonuç üretmeyin.
Otomatik değerlendirme neleri ölçer?
Ragas faithfulness ölçütü, yanıt iddialarının getirilen bağlamla desteklenmesini kontrol eder. Bu bağlam testi, her iddianın yanında gösterilen belirli atfın doğru olduğunu tek başına kanıtlamaz. Bağlamda doğru kaynak bulunurken arayüz başka kaynağa bağlanabilir. Ayrıca metinsel destek ile güncel durum için doğruluk farklıdır. Değerlendirmede genel bağlam desteğini, iddia-atıf eşlemesini ve sürüm uygulanabilirliğini ayrı sonuçlar olarak kaydedin.
ALCE atıf değerlendirme araştırması, akıcılık, doğruluk ve atıf kalitesini ayrı değerlendirme boyutları olarak ele alır. Sizin kabul ölçütleriniz de iş kararına göre ayrılmalıdır. Açılan atıfların oranını, tam desteklenen önemli iddiaları, doğru sürüm kullanan yanıtları ve kanıt yokken uygun biçimde yanıt vermeyen vakaları ölçebilirsiniz. Bu ölçüler için evrensel hedef oran uydurmayın; yanlış cevabın etkisine göre eşikleri ürün sahibiyle belirleyin.
Otomatik değerlendiriciye soru, tekil iddia, atıf yapılan tam pasaj ve kapsam verin. Kararı kısa gerekçeyle saklayın. Belirsiz etiketleri ve rastgele seçilen kararları insan incelemesiyle karşılaştırın; model değerlendiricinin kendisi de hata yapabilir. İddiaları eksik bölen bir değerlendirici desteksiz ayrıntıları görmeyebilir. Aynı yanıtta gizlenen koşulları, olumsuzlukları, tarihleri ve birimleri denetleyen özel vakalar ekleyin. Kullanıcı arayüzü tam pasajı ve sürümü kolayca göstermeli; yalnız belge başlığının arkasına saklamamalıdır.
Varsayımsal örnek: doğru sayı, yanlış kapsam
Varsayımsal bir şirketin ocakta geçerli seyahat politikası v3'ü, yurt içi otellerde gecelik 4.000 TL üzeri için yönetici onayı istesin. 1 Temmuz'dan itibaren geçerli v4 sınırı 5.000 TL'ye yükseltsin ve yurt dışı rezervasyonlarında tutardan bağımsız onay koşulu eklesin. Politikanın konaklama tarihini esas aldığını varsayalım. Kullanıcı ağustosta gerçekleşecek 4.500 TL'lik yurt içi konaklama için onay gerekip gerekmediğini sorsun. “Evet, 4.000 TL üzerindeki tüm oteller onay ister” yanıtı v3'e bağlansın. Bağlantı açılır ve sayı kaynakta vardır; ancak tarihsel sürüm uygulanamaz, “tüm” kapsamı da o pasajda desteklenmez.
v4'e geçmek tek başına yetmez. “Hayır, 5.000 TL altındaki tüm oteller onaysızdır” cümlesinde sayı günceldir ama yurt dışı istisnası cevabın genel kapsamını yanlış yapar. Cümlenin yalnız yurt içi ve tutara bağlı kısmı desteklenmektedir. Doğru yanıt, 4.500 TL'lik yurt içi konaklamanın bu tutar sınırı nedeniyle onay gerektirmediğini, başka koşulların ayrıca değerlendirilmesi gerektiğini söyler ve v4'teki maddeye bağlanır. Yurt dışı sorusunun cevabı ise tutardan bağımsız koşula dayanır.
Bu iki yanlış yanıtı aynı testte tutun: ilki eski sürüm seçimini, ikincisi kısmi desteği yakalar. Atıf denetim kaydı her iddiayı, ilgili pasajı, sürümü ve hata etiketini taşısın. Rakamlar örnek politika içindir; gerçek müşteri uygulaması veya hukuki kural değildir. Yalnız sayıları arayan bir kontrol her iki kapsam hatasını da kaçırabilir.
Atıf doğrulama için test planı
- Zor kaynak çiftleri hazırlayın. Benzer iki ürün kılavuzu, eski ve yeni politika, tablo dipnotu, eksik istisna ve erişilemeyen belge ekleyin. Her soruda doğru sürüm ve pasajı etiketleyin.
- Ham getirmeyi inceleyin. Gerekli kanıt adaylarda var mı, yetkisiz pasaj var mı? Eksik kaynakla üretim hatasını ayrı kaydedin; yalnız son metni puanlamayın.
- İddiayı atfa bağlayın. Her önemli sayı, koşul ve kapsam ifadesi için tam destek kontrolü yapın. Gerekli kanıt yoksa yanıtın sınırlandırılmasını veya doğrulanamadığının açıklanmasını bekleyin.
- Değerlendiriciyi denetleyin. İnsan etiketleriyle uyuşmazlığı, kısmi desteği yanlış kabul etmeyi ve kaçan istisnaları izleyin. Otomatik puanı tek başına kabul kapısı yapmayın.
- Değişiklikte tekrar çalıştırın. Belge alımı, parçalama, getirme, model ve arayüz eşlemesi değişince testleri yineleyin. Atıf bağlantısını gerçek kullanıcı yetkileriyle açmayı da dahil edin.
Sık yapılan hatalar
- Bağlantının açılmasını tam iddia desteği ve uygulanabilirlik kanıtı saymak.
- Sayının kaynağa uymasını kontrol edip “tüm”, “yalnız” ve istisna kapsamını atlamak.
- Genel bağlam desteğini belirli iddia-atıf eşlemesinin doğruluğuyla karıştırmak.
- Belge sürümünü ve pasaj aralığını saklamayıp değişen URL'ye güvenmek.
- Otomatik değerlendirme kararlarını insan örneklemiyle kontrol etmeden doğru kabul etmek.
Hatson Tech bunu nasıl kuruyor?
Projeye önemli iş sorularını ve bu soruların doğrulanabilir kaynaklarını çıkararak başlıyoruz. Pasaj kökenini, iddia-atıf eşlemesini ve kabul testlerini RAG ve anlamsal arama çözümlerimizde birlikte tasarlıyoruz. Getirme kalitesini ayrı ölçmek için RAG değerlendirme metrikleri rehberimize, kaynak erişimini sınırlandırmak için yetki duyarlı arama yazımıza bakabilirsiniz. Pilotun kabul ölçütü, yalnız güzel bir cevap değil, okurun her önemli iddiayı uygulanabilir ve izinli pasajdan doğrulayabilmesidir.