Finans önce belge işidir, sonra model işi

Finansta yapay zeka konuşmaları genellikle tahminle başlar: temerrüt olasılığı, dolandırıcılık skoru, işlem sinyalleri. Oysa bunlar üretime almanın en zor, üretime alındıktan sonra da en sıkı biçimde sınırlanan sistemleridir. İlk yılında kendini gerçekten ödeyen iş ise neredeyse her zaman belge işidir. Bir banka, bir finansal kiralama şirketi, bir portföy yönetim şirketi ya da bir ödeme kuruluşu taranmış kâğıtla döner: kimlik belgeleri, ticaret sicil gazetesi sayfaları, imza sirküleri, kredi sözleşmeleri, izahnameler, saklama ekstreleri, denetim yazışmaları. Bu kâğıdı okuyan insanlar pahalı ve sayıca azdır. Dil modelleri ise kaynağı göstermek zorunda bırakıldıklarında okuma, alan çıkarma ve özetleme işini gerçekten iyi yapar. Bu, çoğu tedarikçi sunumunun iddiasından çok daha dar bir iddiadır ve uyum biriminin incelemesinden sağ çıkan tek iddia da budur.

Sonraki her şeyi belirleyen ayrım şudur: sistem bir karar mı üretiyor, yoksa kanıtıyla birlikte bir taslak mı? Bu başvuruyu reddet çıktısını veren bir model hukuki sonuç doğuran bir işlem yapmıştır ve birileri o işlemi yıllar sonra yeniden kurmak, gerekçelendirmek ve savunmak zorunda kalacaktır. Buna karşılık cevabı belirleyen dört madde şunlardır, her biri şu sayfanın şu paragrafından geliyor, önerilen özet de budur diyen bir model, adı belli bir insanın kabul ya da reddettiği bir iş ürünü üretmiştir. Alttaki teknoloji birebir aynı olabilir; düzenleyici ağırlık, ispat yükü ve yanılmanın maliyeti ise hiç aynı değildir. Gördüğümüz başarısız finans projelerinin çoğu, tam olarak bu iki şeyi birbirine karıştırdığı için başarısız oldu.

Bu yazı, bu tür programları kapsamlandırırken izlediğimiz sırayı takip ediyor: bugün gerçekten işe yarayan ne, neresi zor ya da ağır biçimde sınırlı ve neden, düzenleyici katman fiilen neyi zorunlu kılıyor ve bir denetimden, yalnızca bir demodan değil, sağ çıkacak mimari neye benziyor. İlk yarıda anlatılan kullanım senaryolarının tamamı belge ağırlıklıdır ve tamamında insan gözetimi vardır; bunu özür dilediğimiz bir eksiklik olarak değil, savunduğumuz bir tasarım tercihi olarak sunuyoruz. Kurumunuzda yapay zekanın yeri olup olmadığına henüz karar veriyorsanız, işletmeler için yapay zeka rehberimizdeki genel çerçeve daha iyi bir başlangıç noktasıdır; bu yazı okuyucunun o aşamayı çoktan geçtiğini varsayıyor.

KYC ve müşteri kabulü: insan istisna kuyruğunda durur

Müşteri kabulü, çalıştığımız neredeyse her kurumda en temiz ilk senaryodur. Girdi bir dosya destesidir: kimlik belgesi, adres kanıtı, ticaret sicil gazetesi sayfası, imza sirküleri, vergi levhası, zaman zaman bir vekâletname; hepsi tarama, telefon fotoğrafı ve arada bir faks kalitesinde PDF olarak gelir. Çıktı ise yapılandırılmış bir kayıttır: unvan, vergi numarası, kuruluş tarihi, ticaret sicil adresi, yetki limitleri ve geçerlilik tarihleriyle birlikte imza yetkilileri, politikanızın belirlediği eşiğin üzerindeki ortaklar, her alan için bir güven skoru ve her değerin hangi sayfanın hangi bölgesinden okunduğunu gösteren bir işaretçi. Bu son kısım süs değildir. Piksele geri götüren bir işaretçi olmadığında inceleyen kişi tüm desteyi yeniden açmak zorunda kalır ve zaman kazancı buharlaşır.

Planlamanız gereken doğruluk, model seçimine değil, büyük ölçüde girdi kalitesine bağlıdır. Temiz, makine üretimi PDF dosyalarında vergi numarası ve kuruluş tarihi gibi iyi tanımlanmış alanlarda tipik olarak gördüğümüz aralık yüzde 95 ile 98 arasındadır; imza yetki limitleri gibi ifadesi noterden notere değişen serbest metin alanlarında ise belirgin biçimde daha düşük, çoğu zaman yüzde 85 ile 92 arasındadır. Şube bankosunda açılı çekilmiş telefon fotoğraflarında, görüntüyü reddedip yeniden çekim isteyen bir yakalama kalitesi kapısı eklenene kadar her alanda 8 ila 15 puan daha düşük sonuç bekleyin. Hiçbir insanın dokunmadığı dosya anlamına gelen uçtan uca otomatik akış, güven eşikleri ayarlandıktan sonra gerçekçi olarak hacmin yüzde 55 ila 75 bandına oturur.

İnsan her dosyada değil, istisna kuyruğunda durur ve o kuyruk en az model kadar tasarım emeği hak eder. Yönlendirmeyi güven skoruna, iş riskine ve iki farklı çıkarıcının uyuşmazlığına göre yapın; ardından inceleyen kişiye tüm belgeyi değil, yalnızca başarısız olan alanları kaynak bölgesi işaretlenmiş halde gösterin. Üç alan ve kırpılmış bir görüntü gören bir inceleyici dosyayı 40 ila 90 saniyede kapatır; ham desteyi eline alan bir inceleyici ise 8 ila 15 dakika harcar, ki zaten öncesinde yaptığı tam olarak buydu. Bütün projenin ekonomisi bu farkın içinde yaşar. Ayrıca bir örnekleme döngüsünde ısrar ediyoruz: otomatik onaylanan dosyaların yüzde 2 ila 5'i yine de kör biçimde incelenir, böylece otomatik akışın doğruluğu varsayılan değil ölçülen bir sayı olur.

Bu projelerin parlak olmayan gerçeği şudur: geçen sürenin çoğu çıkarıma değil girdilere gider. Geçmişe dönük 20.000 ila 80.000 dosyalık bir küme üzerinde tipik bir müşteri kabulü pilotu 8 ila 12 hafta sürer ve bunun kabaca yarısı belge envanteri, mükerrer kayıt temizliği, kurumun iç yazışmalarında dolaşan dört farklı imza yetkilisi tanımından hangisini fiilen kullandığına karar verme ve sistemin karşısında puanlandığı 300 ila 800 belgelik etiketli bir küme kurma işidir. Bu size yapay zekadan çok veri mühendisliği gibi geldiyse, öyledir; veri hazırlığı konusunda anlattığımız çalışma bir pilotun üretime geçip geçmeyeceğini belirleyen en güçlü tek göstergedir.

Sözleşmeler, izahnameler ve kredi dosyaları: kaynağını gösteren inceleme

Sözleşme ve izahname incelemesi ikinci güvenilir senaryodur. Girdi uzun bir belgedir, tipik olarak 15 ila 300 sayfa: bir kredi sözleşmesi, bir çerçeve hizmet sözleşmesi, bir fon izahnamesi, ekleriyle birlikte bir çerçeve anlaşma, bir portföy devir ön protokolü. Çıktı düz bir nesir özeti değildir. Tanımlı bir madde taksonomisine karşı verilen bir cevaptır: bu sözleşmede kontrol değişikliği maddesi var mı, uygulanacak hukuk nedir, temerrüt halleri nelerdir, en çok kayrılan müşteri koşulu bulunuyor mu, ihbar süresi kaç gündür ve bunların her biri için madde numarası, sayfa ve cevabın dayandığı tam cümle. Madde işaretçisi olmayan akıcı bir metin, faydasız olmaktan da kötüdür; çünkü inceleyeni kendisine güvenmeye davet eder.

Burada önemli olan ölçüt kesinlik değil, geri çağırma oranıdır ve ekipler bunu sürekli ters kurar. Var olan bir maddeyi kaçırmak bir inceleme başarısızlığıdır; sonradan ilgisiz olduğu anlaşılan bir maddeyi işaretlemek inceleyene otuz saniyeye mal olur. Bu nedenle erişimi ve alan çıkarmayı fazladan işaretleme yönünde ayarlarız ve geri çağırma oranını tek bir ortalama olarak değil, madde türü bazında raporlarız; çünkü ortalama her zaman gerçekten zor olan iki üç madde türünü gizler. 40 ila 120 madde türlük bir taksonomide, yaygın ve şablonlu maddelerde tipik olarak gördüğümüz aralık yüzde 90 ile 96, nadir ya da tuhaf kaleme alınmış maddelerde ise yüzde 70 ile 85 arasındadır; inceleyicinin süreçte kalmasının sebebi tam olarak budur.

Kredi dosyası özetlemesi aynı biçime sahiptir. Mali tablolar, analistin önceki tahsis notu, teminat değerlemeleri, sektör notları ve iç yazışmalardan oluşan 30 ila 120 sayfalık bir dosya girer; her iddiası bir sayfa referansı taşıyan iki sayfalık bir taslak not çıkar. Gerçekçi kazanç şudur: ilk taslağı kurmak için 60 ila 120 dakika harcayan bir analist, artık bir taslağı düzeltmek için 20 ila 35 dakika harcar ve düzeltmeler öngörülebilir yerlerde toplanır. Buradaki tehlikeli hata uydurulmuş bir rakam değildir, çünkü onu inceleyen hemen yakalar; tehlikeli olan sessiz atlamadır, yani dipnotta duran ve taslağa hiç girmeyen bir koşullu yükümlülük. Hukuk ekipleri bu örüntüyü hukukta belge incelemesinden tanıyacaktır; aynı asimetri orada da geçerlidir.

Asıl risk atlama olduğu için değerlendirme bir memnuniyet skoru olamaz. 150 ila 400 gerçek dosyadan oluşan derecelendirilmiş bir küme kurar, her dosya için kabul edilebilir bir özette mutlaka bulunması gereken olguların insan eliyle yazılmış listesini hazırlar ve bir referans metne benzerliği değil, bu listenin kapsanma oranını puanlarız. Çok güzel okunan ama zorunlu on iki olgudan ikisini atlayan bir özet başarısız sayılır ve yüksek sesle başarısız sayılmalıdır. Bunu kurmak genel amaçlı bir kıyaslama kümesinden daha pahalıdır ve bir kredi komitesinin kabul edeceği tek sürüm budur; çünkü doğrudan onların gerçekten önemsediği soruya karşılık gelir: bu taslağa güvenseydik neyi kaçırmış olurduk?

Politika cevapları, mutabakat farkları ve müşteri temsilcisi desteği

Mevzuat, iç genelgeler ve ürün el kitapları üzerinde kurum içi politika soru cevaplama, en geniş kullanıcı kitlesine ve cevap başına en düşük riske sahip senaryodur. Girdi, bir şube çalışanının, bir operasyon analistinin ya da bir uyum görevlisinin doğal dille sorduğu sorudur. Çıktı kısa bir cevap, cevabın geldiği madde, belgenin sürümü ve tarihi ve küme içinde cevap bulunmadığı durumda bunun açıkça söylenmesidir. Bu son davranışın mühendislikle kurulması gerekir; modeller bilmediklerini kendiliğinden söylemez. Kurduğumuz sistemlerde bir cevap ancak erişilen pasaj benzerlik ve yeniden sıralama eşiğini geçtiğinde üretilir; aksi halde sistem desteklenen cevap bulunamadı der ve en yakın üç belgeyi listeler. Kullanıcılar bunu, kendinden emin yanlış bir cevaba kıyasla çok daha kolay kabul eder.

Bu senaryoyu tümüyle erişim kalitesi belirler. Türkçe bir mevzuat kümesi üzerinde saf vektör araması, tam da önemli olan sorgularda kötü sonuç verir; çünkü genelge referansları, madde numaraları ve tanımlı terimler anlamsal değil sözcükseldir ve bir embedding iki farklı madde numarasını seve seve yakın komşu sayar. Biz hibrit arama kullanıyoruz: sözcüksel bir dizin ile embedding aramasını birleştirip ilk 50 adayı yeniden sıralamaya sokuyoruz. Bu, kabaca 100 ila 400 milisaniye ekler ve doğru atıfla cevaplama oranını tipik olarak yüzde 65-75 bandından yüzde 85-92 bandına taşır. Türkçe biçimbilimi ve gövdeleme kendi zorluklarını ekler; bunları Türkçe hukuk verisi bağlamında anlattık ve aynı sorunlar bankacılık genelgelerinde birebir tekrar eder.

Mutabakat farklarının ele alınması ve müşteri temsilcisi desteği çalışan kümeyi tamamlar. Mutabakatta model işlemleri eşleştirmez; bunu kural tabanlı bir motor yapar ve yapmalıdır da. Model, eşleşmeyen yüzde 3 ila 8'lik kısmı okur, bir sınıflandırma ve destekleyici kanıtı ekli bir çözüm önerisi yazar; deneyimimizde bu, farkların yüzde 70 ila 85'inin ikinci bir ekibe tırmandırılmadan kapanmasını sağlar. Müşteri temsilcisi desteğinde ise taslak yanıt, dayandığı tarife tablosu satırını ya da sözleşme maddesini mutlaka göstermek zorundadır ve temsilci okumadığı hiçbir şeyi göndermez. İlk taslağın yüzde 50 ila 70 oranında kabul edilmesi normaldir ve gayet iyi bir sonuçtur; belirgin biçimde daha yüksek oranlar genellikle temsilcilerin artık okumayı bıraktığı anlamına gelir.

Neresi zor: otonom kredi kararları ve alım satım

Otonom kredi kararı, hevesin duvara çarptığı yerdir ve sebep yalnızca düzenleyicilerin bundan hoşlanmaması değildir. Bir krediyi onaylaması ya da reddetmesi istenen bir dil modelinin cevabının arkasında kararlı ve incelenebilir bir gerekçe yoktur. Ona açıklama yaptırabilirsiniz; akıcı bir gerekçelendirme üretir ama bu metnin çıktıyı fiilen belirleyen şeyle örtüşüp örtüşmediği belirsizdir. Üç yıl sonra savunmak zorunda kalabileceğiniz bir karar için bu, olabilecek en kötü özelliktir. Klasik skor kartları yanında sıkıcıdır ama bu eksende çok daha iyidir: ağırlıklar görülür, gerekçe kodları sayılabilir, popülasyon kararlılığı izlenebilir ve denetçinin eline herhangi bir bireysel kararı yeniden kuran bir belge verilebilir. Akıcılık açıklama değildir ve kredide bu ikisi sürekli birbirine karıştırılır.

İkinci sorun vekil değişken ayrımcılığıdır. Korunan özniteliği çıkarın; yeterince ifade gücü olan bir model onu posta kodundan, işverenden, cihaz parmak izinden, işlem geçmişindeki üye iş yeri dağılımından ve hatta başvuru saatinden seve seve yeniden kurar. Bunu saptamak, ayrılmış korunan öznitelikler karşısında bilinçli test yapmayı gerektirir; pek çok kurum bu verileri hukuken tutmadığı için testin kendisi ayrı bir projeye döner. İspat yükü sorunu ağırlaştırır: yalnızca kararın nasıl verildiğini değil, o kararı veren model sürümünün test ettiğiniz sürüm olduğunu, doğruladığınız veriyle eğitildiğini ve o tarihte yürürlükte olan eşiklerin kullanıldığını da gösterebilmeniz gerekir. Dağıtım hattınız geçmişteki herhangi bir karar için bu durumu yeniden kuramıyorsa, doğruluğu ne olursa olsun üretime alınabilir bir kredi modeliniz yok demektir.

Alım satım daha da zordur ve sebepleri farklıdır: piyasalar durağan değildir ve rakiplidir, geriye dönük testler sessizce aşırı uyum sağlar ve modelin yanıldığını söyleyecek geri bildirim zararlarınızla aynı anda gelir. Otonom alım satım ajanları kurmuyoruz ve satın alınmasını da önermiyoruz. Genel örüntüyü açıkça söylemekte fayda var, çünkü finansın çok ötesine uzanıyor: Gartner'ın Haziran 2025 tarihli basın bülteni, 3.400'den fazla katılımcıyla yapılan bir ankete dayanarak, agentic AI projelerinin yüzde 40'tan fazlasının 2027 sonuna kadar iptal edileceğini öngördü; gerekçe olarak artan maliyetler, belirsiz iş değeri ve yetersiz risk kontrolleri gösterildi. Burada kapsam model seçiminden daha belirleyicidir ve projenin sınırını nereye çizdiğiniz sonucu genellikle tek bir bileşen seçilmeden önce belirler.

Düzenleyici katman: kredibilite değerlendirmesi Ek III yüksek riskli kullanımdır

AB Yapay Zeka Yasası, yani (AB) 2024/1689 sayılı Tüzük kapsamında, gerçek kişilerin kredibilitesini değerlendirmek ya da kredi notunu belirlemek için kullanılan yapay zeka sistemleri, yüksek riskli kullanım listesi olan Ek III içinde yer alır. Bu sınıflandırma ağır yükümlülükleri beraberinde getirir: bir risk yönetim sistemi, eğitim ve doğrulama verisi için veri yönetişimi, teknik dokümantasyon, kayıt tutma, kullanan tarafa karşı şeffaflık, sonradan eklenen değil sisteme tasarımla yerleştirilen insan gözetimi, doğruluk ve sağlamlık gereklilikleri, kalite yönetim sistemi, uygunluk değerlendirmesi ve kayıt. Tüzük 1 Ağustos 2024'te yürürlüğe girdi ve istisnaları saklı kalmak üzere 2 Ağustos 2026'da uygulanmaya başlandı. AB'de müşterisi, bağlı ortaklığı ya da AB'ye yönelen çıktısı olan Türk kurumları, model nerede çalışırsa çalışsın bu kapsamın içindedir.

Çoğu uyum sayfasının henüz yetişemediği kısım şu: Ek III kapsamındaki bağımsız yüksek riskli sistemler ertelendi. Bu sistemler artık 2 Ağustos 2026'dan değil, 2 Aralık 2027'den itibaren uygulanacak. Düzenleme, (AB) 2024/1689 sayılı Tüzüğü değiştiren 8 Temmuz 2026 tarihli (AB) 2026/1744 sayılı Tüzüktür; Resmî Gazete'de 24 Temmuz 2026'da yayımlanmış ve 27 Temmuz 2026'da yürürlüğe girmiştir. Ek I kapsamındaki ürüne gömülü yüksek riskli sistemler ise 2 Ağustos 2028'den itibaren uygulanır. Dayandığınız bir tedarikçi anketi, yönetim kurulu sunumu ya da uyum sayfası hâlâ yüksek riskli rejimin tümüyle 2 Ağustos 2026'da bağladığını yazıyorsa güncelliğini yitirmiştir; hukuk ekiplerine verdiğimiz kaynak digital-strategy.ec.europa.eu adresindeki Avrupa Komisyonu sayfasıdır ve düzeltilmiş takvimin ayrıntısı gerisini anlatır.

Erteleme muafiyet değildir ve tüzüğün birçok kısmı çoktan işliyor. Madde 5'teki yasak uygulamalar ve yapay zeka okuryazarlığı yükümlülükleri 2 Şubat 2025'ten beri geçerlidir. Genel amaçlı yapay zeka modeli sağlayıcılarına ilişkin Madde 51 ila 56 yükümlülükleri 2 Ağustos 2025'ten beri uygulanmaktadır; bu sizi kullanan taraf olarak ilgilendirir, çünkü satın alma sürecinde bir model tedarikçisinden hangi dokümantasyonu talep edebileceğinizi belirler. Madde 50 şeffaflık yükümlülükleri ertelenmedi ve 2 Ağustos 2026'da yürürlüğe girdi; piyasada hâlihazırda bulunan sistemlerde sentetik içerik işaretleme için Madde 50(2) uyarınca 2 Aralık 2026'ya kadar bir geçiş süresi tanınmıştır ve omnibus ile getirilen yeni yasaklar için de aynı 2 Aralık 2026 geçiş süresi geçerlidir.

Bir finans ekibi için pratik okuma şudur: elinizde bir af değil, tanımlı bir hazırlık süresi var. Risk dosyasını, veri yönetişimi kaydını, kayıt tutma tasarımını ve insan gözetimi modelini kurmak uyum takviminin ima ettiğinden çok daha uzun sürer; Aralık 2027'de rahat olacak kurumlar bu aralığı bekleme süresi değil inşa süresi sayanlardır. Açıkça söylediğimiz bir çekince var: HatsonTech bir mühendislik şirketidir, hukuk bürosu değildir ve burada anlatılanlar sistemleri savunulabilir kılmak için izlediğimiz tasarım yaklaşımıdır, hukuki görüş değildir. Sizin sisteminizin sınıflandırması ve buradan doğan yükümlülükler, kendi hukuk müşavirliğinizin ve uyum biriminizin vereceği bir karardır.

KVKK, madde 11(g) ve Türkiye tablosu

Türkiye'de bugün bağlayıcı kısıt, yapay zekaya özgü bir mevzuattan çok kişisel verilerin korunması hukukudur. 6698 sayılı Kanun, madde 11(g) ile ilgili kişiye, işlenen verilerin münhasıran otomatik sistemler vasıtasıyla analiz edilmesi suretiyle kendi aleyhine bir sonucun ortaya çıkmasına itiraz etme hakkını verir. Bir kredi kuruluşu için otonom karar meselesinin tamamı bu tek fıkranın içindedir: yalnızca otomatik işlemeyle üretilen olumsuz bir karar itiraza açıktır ve kurumun anlamlı, şekli olmayan bir insan katkısını gösterebilmesi gerekir. Bunun yanında madde 5 hukuka uygunluk sebeplerini, madde 6 ise özel nitelikli kişisel verileri düzenler; bir bankasürans ya da sigorta dosyasında beliren sağlık bilgisinin analizi değiştirmesi, sadece hacim eklememesi bundandır.

Madde 10 ve madde 12, naif mimarilere sessizce zarar verir. Madde 10 aydınlatma yükümlülüğüdür; yani aydınlatma metniniz, fiilen yaptığınız otomatik işlemeyi, müşterinin okuyabileceği bir dille ve işlemeye başlamadan önce anlatmak zorundadır. Madde 12 ise veri güvenliği yükümlülüğüdür ve yapay zeka günlükleme tasarımlarını yakalayan madde tam olarak budur; çünkü mühendislik içgüdüsü her istemi, erişilen her pasajı ve her çıktıyı sonsuza kadar, tüm analitik ekibinin sorgulayabileceği bir ambarda saklamaktır. KVKK'nın Üretken Yapay Zekâ ve Kişisel Verilerin Korunması Rehberi, kurumun kvkk.gov.tr adresindeki Rehberler dizininde yer alır; kurumlara gösterdiğimiz kaynak budur ve ayrı bir yazıda madde madde ele alıyoruz.

Türkiye'de yürürlükte özel bir yapay zeka kanunu yoktur. Düzenleme, mevcut metinlerin uyarlanmasıyla ilerler: 6698 sayılı Kanun, Türk Ceza Kanunu, 5651 sayılı Kanun ve Türk Ticaret Kanunu. TBMM'ye kanun teklifleri sunulmuştur ancak hiçbiri yasalaşmamıştır; dolayısıyla varsayımsal bir yasalaşma tarihine göre planlama yapmak bir strateji değildir. Mevcut tabloyu Türkiye mevzuat değerlendirmemizde anlatıyoruz. Ayrıca bankacılık ve sermaye piyasası düzenleyicileri, yetkilendirdikleri kurumlara kendi bilgi sistemleri, dış kaynak kullanımı ve veri yerelleştirme beklentilerini getirir ve bunlar bir mimariyi çoğu zaman kişisel veri mevzuatından daha sert biçimde sınırlar. Burada bilerek hiçbir özel düzenlemeye atıf yapmıyoruz: geçerli gereklilikler, lisansınızın hangilerini getirdiğini bilen kendi uyum biriminizle teyit edilmelidir.

Denetçi gerçekte neyi görmek ister

Denetçiler az sayıda soru sorar ve bunları mimarinizi soyut olarak değil, belirli bir vaka üzerinden sorar. Birincisi şudur: bu karar, bu tarihte, bu müşteri için nasıl verildi, gösterin. Buna cevap vermek sistemin o andaki durumunu yeniden kurmayı gerektirir; yani model kimliği ve sürümü, istem şablonu ve sürümü, erişilen pasajlar ile bunların geldiği belge sürümleri, çözümleme parametreleri, güvenlik bariyeri sonuçları, ham çıktı, uygulanan son işleme adımları ve kararı kabul eden ya da değiştiren insanın kimliği. Bu unsurlardan biri eksikse dürüst cevap, kararı yeniden kuramadığınızdır ve bu cevabın bedeli ağırdır; çünkü denetçi eksiği sizin adınıza kendi varsayımıyla doldurur.

İkinci soru şudur: çalıştığını nereden biliyordunuz? Değerlendirme kanıtının mühendislik inceliğinden çıkıp bir belgeye dönüştüğü yer burasıdır. Bizim tuttuğumuz şey, her sürüm için tarihli bir artefakttır: değerlendirme kümesi ve sürümü, çalıştırıldığı tarih, tek bir manşet sayı yerine kategori bazında kırılan metrikler, test edilen model sürümü, bilinen hata biçimleri ve adı belli bir kişinin onayı. Sistem değiştiğinde artefakt yeniden üretilir ve öncekisi saklanır; böylece seri, kalitenin zaman içinde nasıl hareket ettiğini gösterir. Bunu üretemeyen kurumlar denetçinin karşısında anekdotla tartışmak zorunda kalır ve anekdot her seferinde kaybeder.

Üçüncü soru kayma ve değişiklikle ilgilidir: o günden bu yana ne değişti ve sistem bozulsaydı bunu nasıl anlardınız? Bu, sürüm öncesi değerlendirmeyle aynı metrik tanımlarını kullanan bir üretim izlemesi gerektirir; yan yana duran ama farklı şeyleri ölçen ikinci bir gösterge paneli değil. Pratikte canlı trafiğin yüzde 1 ila 3'ünü sürekli puanlama için örnekliyor, cevap kalitesindeki düşüşlerden önce erişim kalitesindeki düşüşlere alarm kuruyoruz, çünkü önce erişim bozulur sonra cevap bozulur; ve her model ya da istem değişikliğinde tüm değerlendirme kümesini yeniden çalıştırıyoruz, ki canlı bir sistemde bu ekiplerin beklediği sıklıkta olmaz. Bunun arkasındaki ölçüm disiplini RAG değerlendirme metriklerinde anlattığımız disiplinin aynısıdır.

Denetimden sağ çıkan mimari

İşin çoğunu dört özellik yapar. Birincisi, kaynak belgeye, belge sürümüne ve maddeye çözünen atıflarla erişim; böylece bir çıktıdaki her iddia dosya adına değil, bir sayfaya ve bir paragrafa kadar takip edilebilir. İkincisi, tüm etkileşimin değiştirilemez günlüğü: istek kimliği, zaman damgası, aktör ve rolü, istem şablonu sürümü, erişilen parça kimlikleri ile geldikleri belge sürümünün içerik özeti, model kimliği ve parametreleri, ham çıktı, güvenlik bariyeri sonuçları ve nihai sonuç. Bunları nesne depolamaya yalnızca ekleme yapılacak biçimde, nesne kilidi ya da eşdeğeri bir saklama politikasıyla yazın; günlük yığınları özet zinciriyle bağlayın ve özeti ayrı bir yerde tutun, böylece değiştirilmiş bir kayıt yalnızca caydırılmış değil, saptanabilir olur.

Üçüncüsü, insan onayının bir ekrandaki onay kutusu olarak değil, birinci sınıf bir olay olarak kaydedilmesidir. Bir inceleme olayı kendi kimliğini, inceleyen kişiyi, değiştirilemez bir anlık görüntüye referansla ona tam olarak neyin gösterildiğini, neyi değiştirdiğini, ne kadar süre harcadığını ve seçtiği sonucu taşır. Madde 11(g) kapsamındaki anlamlı insan katkısı sorusuna cevap veren kayıt budur; zaman damgalı bir mantıksal alan bu soruya cevap vermez ve denetçinin karşısında da vermeyecektir. Dördüncüsü, değerlendirme kanıtının her sürüm için tarihli bir artefakt olarak tutulmasıdır. Bu dördü birlikte, herhangi bir bireysel kararı kimsenin hafızasına bağlı kalmadan yeniden kurma yeteneğini verir; uygulanan gerçek test de zaten budur.

Hacim, saklama süresi ve erişim konusunda somut olun; çünkü bu tasarımlar sessizce tam burada çöker. Tam bir etkileşim kaydı 4 ila 12 kilobayt tutar, yani bir milyon etkileşim dizinleme öncesi kabaca 4 ila 12 gigabayt eder: saklaması sıradan, kötü saklaması pahalı bir büyüklük. Saklama süresini yapay zekaya özgü bir süre uydurmak yerine, altta yatan iş kaydının süresine sabitler ve uyum biriminin uzatmasına ya da kısaltmasına bırakırız. Erişim ekiplerin sandığından çok daha dardır: dosya sahibi, yöneticisi, iç denetim ve uyum; her okuma günlüklenir, günlük deposunda müşteri kimlikleri takma adlaştırılır ve serbest metin istemleri kayda düşmeden önce kişisel veri açısından maskelenir. Madde 12 güvenlik yükümlülükleri denetim izine, kaynak sisteme uygulandığı kadar birebir uygulanır.

HatsonTech olarak bunu nasıl kuruyoruz

Finans tarafındaki işlerimize belge cephesinden başlıyoruz, çünkü hem değer hem kanıt orada duruyor. Pratikte ilk çalışma, arkasında tek bir net karar bulunan tek bir belge kümesi üzerinde kapsamı dar tutulmuş bir pilottur: bir müşteri kabulü kuyruğu, bir kredi sözleşmesi kütlesi için madde taksonomisi ya da mevzuat ve iç genelgelerden oluşan bir politika kümesi. Etiketli değerlendirme kümesini veri hattını kurmadan önce kurar, manşet doğruluk yerine kategori bazında sayılar raporlar ve bir senaryonun hiç otomatikleştirilmemesi gerektiğinde bunu açıkça söyleriz. 50.000 ila 200.000 belgelik bir pilot için olağan süre altı ila on haftadır ve teslim edilen şey yalnızca çalışan bir demo değil, değerlendirme artefaktını da içerir.

Mühendislik zamanının çoğunu erişim katmanı yutar ve bir denetçinin cevabı kaynağına kadar takip edip edemeyeceğini belirleyen katman da odur. RAG ve anlamsal arama çalışmamız hibrit sözcüksel ve vektör erişimi, yeniden sıralama ve dosya adına değil belge sürümü ile maddeye çözünen atıf çapaları üzerine kuruludur. Aynı makineyi komşu alanlarda da kurduk: hukuki araştırma için caseon.ai ve sözleşme inceleme süreçleri için DiligenceAI. İkisi de, geldiği maddeyi görmeden hiçbir cevabı kabul etmeyen uzman sorununun aynısıyla karşı karşıyadır ve ikisi de bize atıf kalitesinin teknik bir ayrıntı değil, bir ürün özelliği olduğunu öğretti.

Yapmayacağımız şey, düzenlemeye tabi bir kredi sürecine otonom karar sistemi satmak ya da bir modelin inceleyiciyi ortadan kaldıracağını vaat etmektir. Savunduğumuz tasarım daha dar ve daha sıkıcıdır: makine okur, erişir, alan çıkarır ve atıflarla taslak yazar; adı belli bir kişi karar verir; sistem neyin gösterildiğini, neye karar verildiğini ve kimin karar verdiğini üç yıl sonra hâlâ yeniden kurulabilecek biçimde kaydeder. Bu, demodan daha az heyecanlıdır ve ilk denetimden sonra hâlâ çalışıyor olan sürüm de budur. Bu alanda bir şey kapsamlandırıyorsanız, faydalı ilk konuşma hangi modelin kullanılacağı değil, belge kümesi ve arkasındaki karar üzerine olan konuşmadır.