İşletme Verinizde LLM'leri RAG ile Sağlamlaştırmak

Neden Ham Bir LLM İşletme Verisinde Yanılır?

Büyük dil modelleri özünde bir sonraki kelimeyi olasılıkla tahmin eden sistemlerdir. Eğitim verisindeki örüntülerden öğrendikleri için akıcı, makul ve çoğu zaman doğru görünen metinler üretirler. Ama akıcılık bir bilgi garantisi değildir: model, bir şirket politikasının ya da ürün belgesinin gerçekte ne dediğini değil, öyle bir belgenin nasıl görünmesi gerektiğini öğrenmiştir. Bu fark sıradan bir sohbette önemsizken kurumsal kararlarda belirleyici hale gelir.

Halüsinasyon dediğimiz şey tam burada doğar. Model var olmayan bir fiyat, yanlış bir teslim süresi ya da hiç önüne konmamış bir iç prosedür uydurabilir; üstelik bunu tam bir özgüvenle yapar. Kurumsal belgelerde sorun daha da derinleşir: politikalar sürekli değişir, eski sürümler yürürlükten kalkar, aynı konudaki birden fazla doküman birbiriyle çatışabilir. Modelin eğitim verisi ise belirli bir tarihte donmuştur ve o tarihten sonraki hiçbir değişiklikten, hele ki şirketinizin özel verisinden hiç haberi yoktur.

Bir diğer temel sınır kaynak gösterememektir. Ham bir model, ürettiği cümlenin hangi belgeden, hangi bölümden veya hangi kayıttan geldiğini söyleyemez; çünkü içsel temsilinde böyle bir bağ yoktur. İşletme için bu kabul edilemez bir eksiktir: bir müşteri temsilcisine ya da yöneticiye verilen her cevabın bir dayanağı olmak zorundadır. Doğrulanamayan bir cevap, kurumsal bir bağlamda hiç cevap olmamasından daha tehlikelidir.

Retrieval-Augmented Generation Nedir?

Retrieval-Augmented Generation (RAG), bir dil modelini kendi hafızasıyla baş başa bırakmak yerine, cevap üretmeden önce ona güncel ve doğrulanmış bir kaynak kümesi sunan bir mimaridir. Fikir basit ama güçlüdür: modele 'bildiğini yaz' demek yerine 'işte ilgili belgeler, yalnızca bunlara dayanarak cevapla' demek. Böylece modelin yaratıcılığı dil üretiminde kalır, olgular ise dışarıdan gelir.

Akış kabaca iki aşamadır. Önce getirme (retrieval) aşamasında kullanıcının sorusu bir arama sistemine gider ve soruyla en alakalı belge parçaları bulunur. Ardından üretim (generation) aşamasında bu parçalar soruyla birlikte modele bağlam olarak verilir; model cevabını yalnızca bu bağlama yaslanarak kurar. Modelin işi bilgiyi hatırlamak değil, önüne konan kanıtı doğru biçimde sentezlemektir.

Bu yaklaşım işletme verisi için neredeyse kusursuz bir eşleşmedir. Bir politika ya da ürün belgesi değiştiğinde modeli baştan eğitmeniz gerekmez; sadece getirme katmanındaki belgeleri güncellersiniz. Bir cevap her zaman somut bir kaynağa bağlanabilir, çünkü zaten o kaynaktan üretilmiştir. MevzuatBot ile müşterilerimiz için kurduğumuz asistanlar da tam bu ilkeyle çalışır: dilin akıcılığı modelden, doğruluğun teminatı ise şirketin kendi bilgi tabanından, ürün dokümanlarından ve kayıtlarından gelir.

Özetle RAG, 'her şeyi bilen ama kaynak gösteremeyen' bir modeli, 'doğru kaynağı bulup ondan konuşan' bir asistana dönüştürür. İşletmede değerli olan ezber değil dayanaktır; RAG da bu dayanağı sisteme geri kazandırır.

İşletme Belgelerini Parçalamak: İşin Sessiz Kalbi

Bir RAG sisteminin kalitesi, büyük ölçüde getirme katmanına koyduğunuz parçaların kalitesiyle belirlenir. Bir belgeyi hangi boyutta ve hangi sınırlardan böldüğünüz, sistemin ileride doğru cevabı bulup bulamayacağını doğrudan etkiler. Bu yüzden parçalama (chunking) bizim için sıradan bir ön işleme adımı değil, mimarinin en kritik tasarım kararlarından biridir.

Salt karakter sayısına göre kör kesim yapmak kurumsal belgelerde felaketle sonuçlanır; bir prosedür adımını tam ortasından bölmek, anlamı taşıyan bağlamı koparır. Onun yerine belgenin kendi yapısını izleriz: başlık, bölüm, alt başlık ve madde hiyerarşisi doğal sınırlar sunar. Bir destek talebinde sorun tanımı, atılan adımlar ve çözüm birbirinden farklı işlevler taşır. Parçalarımızı bu anlamsal birimlere saygı gösterecek biçimde kurar, her parçanın tek başına anlamlı kalmasını gözetiriz.

Her parçaya zengin bir üst veri (metadata) iliştiririz: kaynağın adı, bölüm başlığı, sürüm ve güncellenme tarihi, varsa geçerlilik durumu ve belge türü. Bu üst veri hem getirme sırasında filtreleme yapmamızı, hem de cevabın sonunda kusursuz bir kaynak künyesi üretmemizi sağlar. Türkçenin sondan eklemeli yapısı ve kurumsal metinlerdeki uzun, iç içe geçmiş cümleler, bu adımı genel amaçlı bir parçalayıcının asla yakalayamayacağı kadar alana özgü kılar.

Embedding ve Vektör Arama: Anlamı Aramak

Parçaları hazırladıktan sonra onları aranabilir hale getirmemiz gerekir. Burada embedding devreye girer: her metin parçasını, anlamını sayısal olarak temsil eden yüksek boyutlu bir vektöre dönüştürürüz. Anlamca yakın iki metin bu uzayda birbirine yakın noktalara düşer. Böylece 'iade koşulları' diye soran bir kullanıcı, metinde tam o kelimeler geçmese bile ilgili politika bölümüne ulaşabilir.

Bu, geleneksel anahtar kelime aramasına göre temel bir sıçramadır. Klasik arama yalnızca birebir eşleşen kelimeleri bulur; oysa kurumsal dilde aynı kavram onlarca farklı biçimde ifade edilebilir. Vektör araması kelimeleri değil kavramları eşleştirir. Sorgu da aynı embedding modelinden geçer ve sistem, sorgu vektörüne en yakın belge vektörlerini bularak anlamsal olarak en alakalı parçaları getirir.

Pratikte yalnızca anlamsal arama her zaman yetmez. İş dünyasında bazen belirli bir ürün kodunu ya da belirli bir terimi birebir aramak istersiniz. Bu yüzden hibrit bir yol izleriz: anlamsal vektör aramasını anahtar kelime tabanlı klasik aramayla birleştirir, hem kavramsal yakınlığı hem de tam eşleşmeleri aynı anda yakalarız.

Tüm bu altyapıyı, MevzuatBot ile bulut tabanlı ve ölçeklenebilir bir biçimde kurarız. Embedding üretimi, vektör depolama ve ölçeklenebilir arama, üretim ortamında çok sayıda sorguyu düşük gecikmeyle karşılayacak biçimde yönetilir; çünkü kullanıcı için doğru cevap kadar, hızlı gelen doğru cevap da önemlidir.

Yeniden Sıralama: İlk Getirmenin Üzerine İnce Ayar

Vektör araması hızlıdır ve geniş bir aday kümesini saniyeler içinde getirir, ama hassasiyeti her zaman kusursuz olmaz. İlk getirme, on binlerce parça arasından örneğin en alakalı yirmi adayı bulmakta iyidir; fakat bu yirmiyi en doğru sıraya dizmekte zayıf kalabilir. Kurumsal soru-cevapta sıralama önemlidir: en alakalı bölümü modele ilk sırada vermek, cevabın kalitesini doğrudan belirler.

Bu yüzden iki aşamalı bir strateji kullanırız. İlk aşamada vektör araması geniş ama kaba bir aday listesi çıkarır. İkinci aşamada bir yeniden sıralama (re-ranking) modeli, her adayı soruyla birlikte daha derinlemesine tartar ve gerçek alaka düzeyine göre yeniden dizer. Bu model daha pahalıdır, ama yalnızca küçük bir aday kümesine uygulandığı için maliyeti yönetilebilir kalır.

Yeniden sıralamanın asıl katkısı, gürültüyü modele ulaşmadan elemesidir. Modele ne kadar az ama ne kadar isabetli bağlam verirseniz, o kadar az dağılır ve o kadar az halüsinasyon yapar. Alakasız bir bölümü bağlamdan çıkarmak çoğu zaman doğru bir bölümü eklemek kadar değerlidir; çünkü model önüne konan her şeyi ciddiye alma eğilimindedir.

Kaynak Gösterimi ve Sağlamlaştırma: Cevabı Gerçeğe Bağlamak

Bir RAG sisteminin işletme için değeri, yalnızca doğru cevap vermesinde değil, o cevabı doğrulanabilir kılmasında yatar. Bu yüzden grounding, yani sağlamlaştırma, bizim için isteğe bağlı bir özellik değil, sistemin temel sözleşmesidir. Model, ürettiği her önemli iddiayı kendisine verilen belge parçalarına bağlamak ve hangi kaynağa dayandığını açıkça göstermek zorundadır.

Bunu, modele yalnızca getirilen bağlamdan konuşmasını dayatan katı talimatlarla ve her parçanın taşıdığı üst veriyle sağlarız. Cevap üretildiğinde sistem, o cevabın hangi belgeden veya kayıttan türediğini künye olarak ekler: belge adı, bölüm başlığı ve mümkünse doğrudan bağlantı. Böylece kullanıcı tek tıkla kaynağa gidip kendisi doğrulayabilir. Asistan son sözü söylemez; ekibin denetleyebileceği bir başlangıç noktası sunar.

Aynı ölçüde önemli olan, sistemin ne zaman susması gerektiğini bilmesidir. Getirme katmanı soruyla yeterince alakalı bir kaynak bulamadıysa, doğru davranış uydurmak değil, 'bu konuda elimde dayanak yok' demektir. Bilmediğini söyleyebilen bir kurumsal asistan, her şeye özgüvenle cevap veren ama ara sıra uyduran bir asistandan çok daha güvenilirdir. Sağlamlaştırma, bu dürüstlüğü mimarinin içine gömme biçimimizdir.

Değerlendirme: Sezgi Değil, Ölçüm

Bir RAG sistemini 'iyi görünüyor' diyerek üretime almak kurumsal bir ortamda sorumsuzluk olur. Bu yüzden sistemi sürekli ve ayrıştırılmış biçimde ölçeriz. İki katmanı ayrı ayrı değerlendiririz: getirme katmanı doğru belgeleri buluyor mu, üretim katmanı bu belgeleri sadık biçimde kullanıyor mu? Bir cevap kötüyse, sorunun yanlış belge getirmekten mi yoksa doğru belgeyi yanlış yorumlamaktan mı kaynaklandığını bilmek zorundayız.

Getirme tarafında, doğru cevapları önceden bilinen soru kümeleri üzerinde, doğru kaynağın getirilen parçalar arasında olup olmadığını ve ne kadar üst sıralarda yer aldığını izleriz. Üretim tarafında ise sadakat (faithfulness) ölçeriz: modelin söylediği her şey gerçekten verilen bağlam tarafından destekleniyor mu, yoksa bağlamın ötesine geçip uyduruyor mu? Sadakat, işletme kullanımı için belki de en kritik metriktir.

Bu değerlendirme tek seferlik bir sınav değil, sürekli işleyen bir süreçtir. Kullanıcılardan gelen geri bildirimler, hatalı cevap örnekleri ve değişen belgeler test kümelerimizi besler. Bir parçalama stratejisini, bir embedding modelini ya da bir talimatı değiştirdiğimizde, bunun kaliteyi gerçekten artırdığını sezgiyle değil sayılarla doğrularız. MevzuatBot ile kurduğumuz sistemlerin güvenilirliği tam da bu disiplinli ölçüm döngüsünün üzerine inşa edilir.

Sonuç: İşletmede Sağlamlaştırma Lüks Değil, Şarttır

Birçok alanda bir dil modelinin ara sıra yanılması tolere edilebilir. İşletmede ise yanlış bir fiyat, geçersiz bir politika ya da uydurma bir prosedür gerçek sonuçlar doğurur. Bu yüzden bizim için RAG, modelin zekâsına eklenen bir süs değil, onu güvenilir kılan asıl çerçevedir. Akıllı bir model ile güvenilir bir kurumsal asistan arasındaki fark, tam olarak bu getirme ve sağlamlaştırma katmanında saklıdır.

Parçalama, embedding, vektör arama, yeniden sıralama, kaynak gösterimi ve değerlendirme; bunların hiçbiri tek başına sihirli bir çözüm değildir. Ama birlikte ve alana özgü bir titizlikle kurulduklarında, ham bir dil modelini her cümlesini gerçek bir kaynağa yaslayabilen bir sisteme dönüştürürler. MevzuatBot ile müşterilerimiz için kurduğumuz RAG asistanlarını tam olarak bu felsefeyle inşa ediyoruz.

HatsonTech olarak inancımız net: işletmeler için yapay zeka, kullanıcının kör bir güvenle bağlandığı bir kâhin değil, her iddiasını gösterebilen ve gerektiğinde 'bilmiyorum' diyebilen bir araç olmalıdır. Sağlamlaştırmayı mimarinin merkezine koymak, bu aracı ekibin gerçekten güvenebileceği bir meslektaşa dönüştürmenin tek dürüst yoludur.