Sözleşmelerde Yapay Zeka Kullanalım Bir Görev Tanımı Değildir

Bir yapay zeka projesinin en sık duyulan açılış cümlesi aynı zamanda en pahalı olanıdır: sözleşmelerimizde yapay zeka kullanalım. Altı ay ve gerçek bir bütçe sonrasında elinizde çalışan bir arama hattı, herkesin beğendiği bir demo ve çıktının hukuk ekibinin önüne konabilecek kadar iyi olup olmadığı konusunda hiçbir mutabakat olmaz. Ekip buna model sorunu der ve model değiştirmeye başlar. Oysa bu bir model sorunu değildir. Doğru olanın ne demek olduğunu söyleyen cümle hiçbir zaman yazılmamıştır; dolayısıyla sistemin geçebileceği bir sınav da, kalabileceği bir sınav da yoktur. Kapsam sorunu on iş gününde çözülür, model arayışı ise bir yılı yutabilir.

Kapsam belgesi bir dilek listesi ya da oklarla çizilmiş bir faz şeması değil, bir testtir. Kendi belgenizi dürüstçe sınamanın yolu şudur: belgeyi teslim edilen sistemle birlikte, hiçbir toplantıya katılmamış bir mühendise verin ve teslimatı kabul mü yoksa ret mi edeceğine karar vermesini isteyin. Size tek bir açıklayıcı soru sormadan bir öğleden sonra içinde karar verebiliyorsa elinizde kapsam vardır. Geri dönüp burada doğru sayılan şey nedir diye soruyorsa elinizde yalnızca bir not vardır. İki belge arasındaki fark, yapay zeka bütçelerinin sessizce eridiği yerdir. Test edilebilir bir görev tanımı tam olarak dört soruya cevap verir: ne girer, ne çıkar, çıktıyı kim tüketir ve yanlış bir cevabın maliyeti nedir.

Sözleşme örneğinin yeniden yazılmış hali şudur ve uzunluğu tam da meselenin kendisidir. Türkçe ve İngilizce tedarikçi sözleşmeleri için, taranmış olanlar dahil PDF formatında gelen belgelerden şu on dört alan çıkarılır: karşı tarafın ticaret unvanı, yürürlük tarihi, süre, yenileme tipi, fesih bildirim süresi (gün), uygulanacak hukuk, sebepsiz fesih hakkı var mı yok mu, sorumluluk üst sınırı tutarı ve para birimi, ödeme vadesi (gün), fiyat endeksleme maddesinin varlığı, devir kısıtı, gizlilik süresi (ay), münhasırlık bayrağı ve imza tarihi. Her sözleşme için sözleşme kütüğüne tek bir kayıt yazılır; her alan bir güven skoru ve değerin alındığı cümlenin sayfa referansını taşır. Bu paragraf ilk istekten çok daha uzundur ve projenin bitirilebilmesinin yegane sebebi budur.

Son iki soru, ilk ikisinden daha fazla şeyi değiştirir. Kayıt kütüğe yazılmadan önce her satırı bir sözleşme yöneticisi inceliyorsa sistemin atıf göstermesi, bir inceleme kuyruğu ve hızlı bir düzeltme yolu olması gerekir; kabul çıtası da bir miktar aşağıda durabilir. Kayıt aradaki insan olmadan doğrudan bir yenileme takvimine akıyorsa risk profili bambaşka olan başka bir sistem inşa ediyorsunuz demektir. Ardından her yanlış cevap sınıfının maliyetini ayrı ayrı fiyatlayın: eksik kalan bir bildirim süresi on dakikalık bir kuyruk işidir, yanlış yazılmış bir bildirim süresi ise sözleşmeyi sessizce bir yıl daha uzatır. Finans operasyonlarında bu asimetri çok daha keskindir; finansta yapay zeka uygulamaları yazımızda bunu ayrıntılandırıyoruz.

Kabul Kriteri, İş Başlamadan Anlaşılan Bir Sayıdır

Doğru çalışsın yeter bir kabul kriteri değildir, çünkü ne bir metrik ne bir veri kümesi ne de bir eşik içerir. Hangi ölçüde doğru: alan bazında tam eşleşme mi, kaydın bütün alanlarının birden doğru olması mı, yoksa parayı taşıyan tek alanın anma oranı (recall) mı? Hangi belgelerde doğru: demoda açılan on iki temiz dosyada mı, yoksa kimsenin açmak istemediği 2019 tarihli taranmış eklerde mi? Ve hangi seviyeye kadar doğru: bugünkü halden iyi mi, bir uzman yardımcısından iyi mi, kusursuz mu? Bu üç boşluk doldurulmadan her ilerleme toplantısı bir izlenim pazarlığına döner ve odadaki en kıdemli kişi tartışmayı kazanır.

Sayıyı yüzde 100'e göre değil, ölçülmüş insan başlangıç değerine göre koyun. Başlangıç değerini ölçmek bir araştırma projesi değil, iki günlük bir iştir: insanların halihazırda işlediği 100 ila 200 kaydı alın, kıdemli bir gözden geçirene körlemesine yeniden kontrol ettirin ve hataları sayın. Sonuçlar genelde rahatsız edici, her zaman faydalıdır. Yürüttüğümüz projelerde dağınık belgelerden elle alan çıkarımı, alan bazında tipik olarak yüzde 88 ila 95 aralığına oturur; öznel sınıflandırmalarda ise iki yetkin gözden geçiren yüzde 70 ila 85 oranında aynı kararı verir. Ölçülen başlangıç değeriniz yüzde 91 ise yüzde 99'luk bir kabul hedefi hırs değildir; beşinci ayda başarısız olmanın planıdır.

Savunulabilir bir hedefin dört parçası vardır: metrik, veri kümesi, eşik ve tolerans. Yazıya döküldüğünde şöyle okunur. On dört alanın tamamında alan bazında en az yüzde 93 doğruluk; dondurulmuş 220 belgelik değerlendirme setinde, tarih ve tutarlar normalize edildikten sonra tam eşleşme ile ölçülür; fesih bildirim süresi alanında anma oranı en az yüzde 98 olur; ve kütüğe yüksek güven skoruyla yanlış değerle giren kayıt oranı yüzde 2'yi aşmaz. Dikkat edin, alanların hepsi tek bir eşiği paylaşmıyor. Eşik, bir önceki bölümde fiyatladığınız hata maliyetini takip eder; bütün alanlarda tek tip bir sayı kullanılması, o fiyatlamanın hiç yapılmadığının güvenilir bir işaretidir.

Kapsama tek sayı değil iki sayı yazın: kalite eşiği ve otomasyon oranı. Vakaların yüzde 40'ını yüzde 97 doğrulukla cevaplayıp gerisini insana devreden bir sistem iyi bir sistemdir; vakaların yüzde 100'ünü yüzde 82 doğrulukla cevaplayan sistem ise çoğu zaman bir yüktür. Sistemin ne ettiğini yalnızca bu ikili birlikte söyler, çünkü otomasyon oranı sonradan yapacağınız her fayda hesabındaki çarpandır ve yapay zekada yatırım getirisi (ROI) ölçümü tam olarak bu çarpanın üzerine kurulur. İkisini de kabul kriterine yazın; altında projenin kendini finanse etmediği asgari otomasyon oranını da açıkça belirtin.

Değerlendirme Setini (eval set) Kapsam Aşamasında Kurun

Değerlendirme seti bir kapsam çıktısıdır ve zamanlaması bir tercih meselesi değildir. Model ortaya çıktıktan sonra yazılan bir eval seti kontamine olmuştur, üstelik ince bir biçimde değil. Seti yazan kişiler çıktıları görmüştür. Temsili hissettiren örnekleri seçerler ki bu pratikte mevcut sistemin zaten başarabildiği örnekler demektir; belirsiz vakaları da sessizce sistemin eğilim gösterdiği yönde çözerler. Sonuçta ölçtüğünüz şeyle aynı lastikten yapılmış bir cetveliniz olur. Seti önce yazmanın daha kaba bir faydası daha vardır: ekipler etiketleme sırasında sıklıkla görevin tanımında hiç anlaşamadıklarını fark eder ve bunu ikinci haftada öğrenmek, altıncı ayda öğrenmekten çok daha ucuzdur.

İlk değerlendirme seti için tipik olarak 150 ila 300 kayıt hazırlıyoruz; bu, iki yaklaşım arasındaki beş puanlık farkın anlam taşıması için yeterli, alan uzmanlarının gerçekten bitirebileceği kadar da küçüktür. Bileşim, boyuttan daha önemlidir. Kabaca yüzde 60 günlük dağılımı yansıtmalı, yaklaşık yüzde 25 ekibin tecrübeyle adını koyabildiği bilinen zor vakalardan seçilmeli, kalan yüzde 15 ise kasıtlı olarak bozuk örneklerden oluşmalıdır: eğik çekilmiş bir tarama, tek PDF içinde birleştirilmiş iki sözleşme, yanlış dilde bir belge, boş bir sayfa. Hangi katmanlardan örnekleme yaptığınızı kapsam belgesine yazın ki sonradan kimse setin adil veya temsili olmadığını iddia edemesin.

Referans doğruları (ground truth) mühendisler değil alan uzmanları yazar ve anlaşmazlık prosedürü ilk kayıt etiketlenmeden önce belirlenir. İki etiketleyici setin en az yüzde 20 ila 30'unda birbirinden bağımsız çalışsın, sonra ne sıklıkla ayrıştıklarını ölçün. Deneyimli iki kişi kayıtların kabaca yüzde 10 ila 15'inden fazlasında anlaşamıyorsa sorun etiketleyicilerde değildir: görev tanımı muğlaktır ve geri dönüp yeniden yazmanız gerekir. Kalan uyuşmazlıkları karara bağlayacak tek bir hakem belirleyin ve karara bağlanan her kaydın gerekçesini kayda geçirin, çünkü o notlar gerçek spesifikasyonun kendisi haline gelir. 200 kayıtlık bir set için 3 ila 6 kişi-günlük uzman zamanı bütçeleyin.

Seti bir tarih ve sürüm numarasıyla dondurun, geliştirme ekibinin sessizce değiştiremeyeceği bir yerde saklayın ve yüzde 20 ila 30'unu yalnızca adı belli bir kişinin açabildiği kör küme olarak ayırın. Bir ekibin görebildiği kümeden öğrendiği her şey sisteme sızar; bu yüzden görünür kısım size ilerleme hakkında bilgi verir, kabul hakkında ise yalnızca kör kısım konuşur. Aynı çıktı canlıya geçtikten sonra da kazanmaya devam eder: üretimde gözlemlenebilirlik ve değerlendirme için regresyon paketi olur ve model, istem ya da parçalama stratejisi değiştiğinde ilk çalıştırdığınız şey haline gelir.

İnsan Gözetimi Sınırı ve Yanlış Cevabın Maliyeti

Özerklik sınırını üç bant halinde çizin ve sistemin dokunduğu her kararı bu bantlardan tam olarak birine yerleştirin: tek başına karar verir, insan onayına taslak hazırlar, hiç dokunmaz. Bu çalışma yaklaşık bir saat sürer ve geç aşamadaki en yaygın çatışma kaynağını ortadan kaldırır: uyum ya da hukuk tarafındaki bir paydaşın dördüncü ayda, sistemin öneri üretmek yerine sessizce işlem yapmak üzere tasarlandığını fark etmesi. Listeyi özellikler üzerinden değil kararlar üzerinden çıkarın, çünkü özellikler kararları saklar. Belge işleyen sıradan tek bir özellik, genelde risk profilleri ve geri alma maliyetleri gerçekten farklı olan dört beş ayrı karar barındırır.

Bandı üç şey belirler: yanlış cevabın maliyeti, işlemin geri alınabilirliği ve hatanın sonradan fark edilebilirliği. Gelen bir mesajı doğru kuyruğa yönlendirmek ucuzdur, geri alınabilir ve dakikalar içinde görünür olur; dolayısıyla bu kararı sistem tek başına verir. Müşteriye cevap taslağı yazmak yanlış olduğunda pahalıdır ama kurumdan çıkmadan yakalanır; dolayısıyla sistem yalnızca taslak üretir. Ödeme onaylamak, kredi limiti değiştirmek veya bir sözleşme maddesinin mevzuata uygun olduğunu beyan etmek ise pahalıdır, geri alınması yavaştır ve tespiti zordur; değerlendirme raporu ne söylerse söylesin bu kararları sistem vermez. Doğruluk oranı o çizgiyi satın alamaz.

Sınırı hayata geçiren mekanizma güven skoruna göre yönlendirmedir ve kapsam belgesinde bir sayıyla ifade edilmelidir. Eşiği değerlendirme seti üzerinde kalibre edin, ardından en düşük güvenli bandı insana yönlendirin; kurduğumuz sistemlerde bu, lansmanda tipik olarak kayıtların en alttaki yüzde 15 ila 25'idir. Sonra inceleme yükünü saat cinsinden hesaplayın: ayda 6.000 belge geliyorsa ve bunların yüzde 20'si dört dakikalık incelemeye düşüyorsa, birilerinin ayda yaklaşık 80 saatlik mesaisini istemişsiniz demektir. Kimsenin kadro ayırmadığı inceleme kapasitesi, teknik olarak başarılı bir pilotun neden hiçbir zaman üretim sürecine dönüşmediğinin en sık sebebidir.

Sınırı hareket edebilecek şekilde yazın ve onu hareket ettirecek kanıtı da aynı yere yazın. Örneğin şu satır gibi: yenileme tarihi kararı, üç ay üst üste yüzde 0,5'in altında düzeltme oranıyla 5.000 incelenmiş kayıt biriktiğinde, süreç sahibinin imzasıyla taslak bandından otomatik banda geçebilir. Bu madde olmadan ilk gün güvenlik gerekçesiyle çizdiğiniz sınır kalıcı hale gelir, inceleme maliyeti de onunla birlikte kalıcılaşır ve fayda gerekçesi yavaş yavaş erir. Bu madde varsa özerklik, yönlendirme komitesinin takvim baskısı altında verdiği bir izin değil, sistemin kanıtla kazandığı bir yetki olur.

Kapsam Dışının Adını Koymak: Projenin En Ucuz Belgesi

Kapsam dışı listesi projenin en ucuz belgesidir ve harcanan dakika başına en yüksek getiriyi düzenli olarak o sağlar. Yazılması otuz ila altmış dakika sürer, genelde on ila yirmi satırdır ve tek işi, gelecekteki hayal kırıklığını üzücü olmaktan çıkarıp imkansız hale getirmektir. Yazma kuralı basittir: görev tanımınızı okuyan makul bir insanın kapsama dahil olduğunu varsayabileceği her yeteneği listeye koyun. Absürt talepleri değil, makul olanları. Dokuzuncu haftada küçük bir istek gibi gelip, zaten tamamen dolu olan bir ekibin üç haftasını yiyen talepler tam olarak bunlardır.

Sözleşme çıkarımı örneğinde liste şöyle okunur: hukuki görüş veya risk değerlendirmesi yok, yalnızca metinde geçen alanlar; el yazısı notlar yok; Türkçe ve İngilizce dışında dil yok; dijitalleştirilmemiş 2018 öncesi sözleşmeler yok; ERP'ye geri yazma yok, yalnızca kütük; madde kaleme alma veya redline yok; madde kütüphanesiyle karşılaştırma yok; yükümlülük takvimi yok; mobil arayüz yok; arşivin toplu geriye dönük işlenmesi bu fazda yok. Her satır, birinin aksi halde iyi niyetle varsaymış olacağı bir cümledir. Her satırın örtük bir ikinci yarısı da vardır: bu fazda değil, ve eklenmesi kabaca şunu gerektirir.

Listeyi dürüst tutan iki disiplin vardır. Birincisi, kapsam dışı her madde geri dahil edilmek istendiğinde kabaca bir maliyet etiketi taşır; bu etiket küçük, orta, büyük gibi tek kelimelik bir bant bile olsa yeter, çünkü fiyatı olan talep karara bağlanır, fiyatı olmayan talep tartışmaya dönüşür. İkincisi, liste her faz sınırında gözden geçirilir ve maddeler ya bütçesiyle birlikte kapsama girer ya da yazılı gerekçesiyle dışarıda kalır. Kapsam dışı bir ret değil bir kuyruktur; kuyruk gibi yönetmek, aynı tartışmanın aynı üç paydaşla iki haftada bir yeniden başlamasını engelleyen tek şeydir.

Entegrasyon Envanteri: Sistemler, Yetkilendirme, Limitler, Sahipler

Takvimi kaydıran şey nadiren model çalışmasıdır. Erişimdir. Entegrasyon envanteri, tek bir çalışma oturumunda doldurabileceğiniz, her sistem için bir satır ve beş sütundan oluşan bir tablodur: sistem adı, ondan ne istediğiniz (okuma, yazma veya ikisi), kimlik doğrulama yöntemi, hız veya hacim limiti ve erişimi onaylayabilecek kişinin adı. Çoğu ekibin atladığı ve sonradan pişman olduğu altıncı bir sütun ekleyin: üretim dışı bir ortamda çalışan kimlik bilgilerini gerçekten elinize almanın tedarik süresi ve talebi açtığınız tarih. Sahibinin adı yazmayan bir satır envanter satırı değil temennidir; temenniler ise kasım ayında hatırlatma e-postalarına cevap vermez.

Kapsam aşamasında ciddiye alınması gereken kısım bu tedarik süreleridir. Çalıştığımız ortamlarda kurum içi bir veritabanında salt okunur servis hesabı tipik olarak 1 ila 3 hafta, çekirdek bankacılık veya hastane bilgi yönetim sistemi üzerinde bir servis hesabı 4 ila 8 hafta, siteden siteye VPN veya özel bağlantı 2 ila 4 hafta, tek oturum açma (SSO) entegrasyonu ise sahibi belirlendikten sonra 3 ila 6 hafta sürer. Bunların hepsi diğer işlerle paralel ilerler, ama yalnızca birinci haftada başlatılırlarsa. Altıncı haftada açılan talepler kritik yola oturur ve ekip en pahalı haftalarını, sonradan yeniden yazacağı sahte veriye karşı geliştirme yaparak harcar.

Hız limitleri kapsam belgesinde teyit edilecek notunu değil aritmetiği hak eder. Saniyede beş istekle sınırlı eski bir uç nokta teoride günde 432.000 çağrı verir, pratikte bunun epeyce altını; dolayısıyla 400.000 kayıtlık bir geriye dönük yükleme, kontrol noktalı bir iş ve bakım pencereleri üzerine ayrı bir konuşma gerektiren, günlere yayılan bir operasyondur. Her satıra bir de veri hazırlık notu ekleyin, çünkü erişilebilirlik ile kullanılabilirlik farklı problemlerdir ve aradaki boşluk yapay zeka projelerinde veri hazırlığı konusunun ta kendisidir. Erişebildiğiniz ama içeriğine güvenemediğiniz bir sistem entegrasyon değil, ikinci bir projedir.

Fonksiyonel Olmayan Zarf (non-functional envelope) ve Hata Davranışı

Fonksiyonel olmayan zarf dört sayıdan ibarettir ve bunların herhangi birindeki muğlaklık, sistemi sonradan tam fiyatla yeniden tasarlatır. Gecikme: hem ortanca hem kuyruk değeri yazılır, çünkü kullanıcıların hatırladığı şey kuyruktur. Etkileşimli bir RAG cevabında tipik olarak p50 için 2 ila 4 saniye, p95 için ise 8 ila 10 saniyenin altını hedefleyerek tasarlıyoruz; p95 için 2 saniyenin altı istendiğinde bu genelde cevabı akıtmak, aday kümesini küçültmek veya yeniden sıralama adımını tamamen çıkarmak anlamına gelir. Verim: ortalama değil zirve yazılır. Altı saatlik pencerede yirmi bin belge, hatalı bir toplu işe hiç yer bırakmayan, saniyede bir belgelik sürekli yük demektir.

Erişilebilirlik: pencereyi ve bozulmuş çalışma modunu adlandırın. Yedi gün yirmi dört saat yüzde 99,9 ile iş günlerinde 08:00-20:00 arasında yüzde 99,5 ve yazılı bir manuel yedek arasında ciddi bir maliyet farkı vardır; kurum içi süreçlerin çoğunun gerçekten ihtiyaç duyduğu şey ikincisidir. Maliyet tavanı: istek veya belge başına azami harcamayı geliştirme başlamadan önce anlaşın ve bunu ilk faturada keşfedilecek bir sayı olarak değil, bir tasarım kısıtı olarak ele alın. Tavan; arama derinliğini, model seçimini ve yeniden sıralamayı bütçesi olan mühendislik ödünleşimlerine dönüştürür. Aynı disiplin bir yapay zeka projesinin gerçek maliyeti hesabının da temelini oluşturur.

Hata davranışı kapsam belgesinde yer alır, çünkü bir uygulama detayı değil ürün kararıdır. Üç durum yazılı olarak cevaplanmalıdır. Arama ilgili hiçbir şey döndürmediğinde sistem bir şey bulamadığını söyler ve vakayı insana devreder; modelin genel bilgisinden cevap üretmez, çünkü kontrol etme imkanı olmayan bir kullanıcıya kendinden emin ve yanlış bir cevabın ulaşma yolu tam olarak budur. Model sağlayıcı erişilemez olduğunda seçiminizi önceden yaparsınız: işi azami gecikmesi belirtilmiş bir kuyruğa almak, ikinci bir sağlayıcıya veya belirtilen daha düşük kalitede kurum içi küçük bir modele devretmek, ya da nazikçe reddedip kullanıcıya ne zaman döneceğini söylemek.

Üçüncü durum düşük güven skorudur ve üçüncü aydan sonra sisteme ne kadar güvenileceğini sessizce belirleyen asıl durum budur. Eşiği değerlendirme seti üzerinde tanımlayın, eşiğin altında ne olacağına karar verin ve davranışı görünür kılın: belirsiz alanları işaretlenmiş kısmi bir sonuç, gözden geçiren kişi için hem boş bir ekrandan hem de sessiz bir tahminden çok daha faydalıdır. Bu arada iki operasyonel kural daha ekleyin: tek bir kaçak döngünün aylık bütçeyi bir öğleden sonrada tüketmesini engelleyen kullanıcı ve kiracı bazlı hız sınırı, ve adı belli bir nöbetçinin yeni bir dağıtım beklemeden çekebileceği bir acil durdurma anahtarı.

Fazlı Plan ve Gerçekten Tetiklenebilen Bir Durdurma Kapısı

Çoğu proje için üç faz yeterlidir. Keşif 2 ila 4 takvim haftası ve 4 ila 8 kişi-hafta sürer; çıktısı kapsam belgesi, dondurulmuş değerlendirme seti, ölçülmüş başlangıç değeri ve entegrasyon envanteridir. Pilot 6 ila 10 hafta boyunca gerçek veri ve gerçek kullanıcılarla çalışır ve kabul sayısını ya tutturur ya tutturamaz. Üretime sertleştirme 8 ila 14 hafta daha alır; güvenlik incelemesi, izleme, yük devretme, inceleme arayüzü ve devir işleri asıl bu fazda yaşar. Bu üçünün altı haftalık tek bir çalışmaya sığdığını söyleyen kişi size demo satıyordur ve zor kısım hiçbir zaman demo olmamıştır.

Keşfin sonundaki kapı, ancak kapıda kalınabiliyorsa kapıdır. Bu da önceden yazılmış üç şey demektir. Kanıt: hangi sayılar, nasıl ölçülerek, hangi dondurulmuş küme üzerinde. Eşik: hangi sonuç kapıyı açmak yerine durdurma kararıyla kapatır. Ve kişi: müşteri tarafında, projeyi durdurma yetkisi olan ve projenin devam etmesine bağlı hiçbir teşviği bulunmayan tek bir isim. Kapının sahibi, canlıya çıkışa bağlı primi olan kişiyse, o kapı kontrol listesi eklenmiş bir tiyatrodur ve odadaki herkes bunu ikinci toplantıda anlar. Adı konmuş bir durdurma yetkisi yoksa faz sonu bir karar noktası değil, yalnızca bir sunum tarihidir.

Somut olarak keşif kapısı, şu koşullardan herhangi biri doğru çıkarsa durdurma kararıyla kapanır: ölçülen insan başlangıç değeri, makul biçimde ulaşabileceğiniz kabul hedefinin üzerindedir; etiketleyiciler hakem kararından sonra bile kayıtların yüzde 15'inden fazlasında ayrışmıştır; kaynak verideki alan doluluk oranı görevin gerektirdiği seviyenin altındadır; iki veya daha fazla entegrasyonun kimlik bilgisi tedarik süresi pilot penceresinin dışına taşmaktadır; ya da fayda gerekçesi, güven skoru dağılımının desteklemeyeceği bir otomasyon oranına dayanmaktadır. Bunların her biri dördüncü haftada elinizde tutabileceğiniz bir olgudur, komitede tartışılan bir görüş değil.

O kapıda durmak bir zarar yazımı değil başarıdır ve program bütçesinin tamamı yerine kabaca yüzde 5 ila 10'una mal olur. Gartner'ın Haziran 2025 basın bülteni, 3.400'den fazla katılımcıyla yapılan bir ankete dayanarak, agentic AI projelerinin yüzde 40'ından fazlasının 2027 sonuna kadar iptal edileceğini öngörüyor; gerekçe olarak da artan maliyetleri, belirsiz iş değerini ve yetersiz risk kontrollerini gösteriyordu. Gerçek harcamadan sonra gelen iptal pahalıdır, kapıda alınan iptal kararı ucuzdur. Aynı disiplin pilot ile üretim arasındaki ikinci kapı için de geçerlidir; bunu pilot projeden canlıya geçiş yazımızda ele alıyoruz.

Tek Sayfalık Kapsam Şablonu, Alan Alan

Şablonun düz metin hali şudur: on altı alan, doldurduğumuz sırayla. Kullanım senaryosu adı: tek satır, bir fiil ve bir nesne, sıfat yok; örneğin tedarikçi sözleşmelerinden yenileme koşullarını çıkarmak. Tetikleyici ve hacim: bir koşuyu ne başlatır ve günde, ayda ve zirvede kaç adet gelir; tahmin değil, geçmiş veriden alınmış sayı yazılır. Girdi spesifikasyonu: tam olarak hangi belgeler, hangi formatlarda, hangi dillerde, tipik ve en kötü durum boyutlarıyla birlikte ve fiziksel olarak nereden geldikleri. Çıktı spesifikasyonu: üretilen şeyin tam biçimi, alan alan, güven skoru ve kaynak referansı dahil, ve hangi sisteme veya hangi ekrana düştüğü.

Tüketici ve sonraki adım: çıktıyı kim okur ve hemen ardından ne yapar; hem arayüzü hem kabul çıtasını belirleyen tek cevap budur. Yanlış cevabın maliyeti: her hata sınıfı için ayrı ayrı, para, saat veya mevzuata maruziyet cinsinden, sıfatlarla dolu bir paragraf yerine bir büyüklük mertebesiyle yazılır. Mevcut başlangıç değeri: ölçülmüş insan performansı, ölçüm yöntemi, örneklem büyüklüğü ve ölçümün yapıldığı tarih. Kabul eşiği: metrik, veri kümesi, sayı ve varsa alan bazlı istisnalar; ayrıca altında projenin kendini finanse etmediği asgari otomasyon oranı. Bu dört alan doldurulmadan kalan on iki alanın hiçbiri bağlayıcı olmaz.

Değerlendirme seti: büyüklük, katman bazında bileşim, referans doğrularını kimin yazdığı, anlaşmazlıkların nasıl çözüldüğü, dondurma tarihi ve kör küme olarak ayrılan oran. Özerklik haritası: sistemin dahil olduğu her karar, tek başına karar verir, taslak hazırlar veya hiç dokunmaz bantlarından birine atanmış halde ve bir üst banda geçmesini sağlayacak kanıtla birlikte. Kapsam dışı: on ila yirmi açık satır, her biri geri dahil edilme maliyetiyle. Entegrasyon envanteri: sistem başına bir satır; ne istendiği, kimlik doğrulama yöntemi, hız limiti, adı belli sahibi, kimlik bilgisi tedarik süresi, erişim talebinin açıldığı tarih ve bir veri hazırlık notu.

Fonksiyonel olmayan zarf: p50 ve p95 gecikme, zirve verim, bozulmuş çalışma modu açıkça yazılmış erişilebilirlik penceresi ve istek ya da belge başına maliyet tavanı. Hata ve yedek davranışı: arama boş döndüğünde, sağlayıcı kesintisinde ve düşük güven skorunda ne olacağı; ayrıca hız sınırları ve acil durdurma anahtarını kimin çekmeye yetkili olduğu. Veri ve uyum kısıtları: 6698 sayılı Kanun kapsamında hukuki sebep, verinin nerede işlenip saklanabileceği, saklama süreleri, çevrenin dışına çıkmadan önce nelerin maskeleneceği ve senaryonun özel nitelikli kişisel veriye dokunup dokunmadığı. Faz planı ve kapılar: tarihleriyle üç faz, her kapıyı kapatan kanıt ve durdurma yetkisi olan kişinin adı.

HatsonTech'te Kapsamı Nasıl Belirliyoruz

Kapsam belirlemeyi 2 ila 4 haftalık ücretli bir keşif olarak yürütüyoruz ve öncesinde geliştirme için fiyat vermiyoruz, çünkü veriye bakmadan üretilmiş bir sayı, virgülü olan bir tahminden ibarettir. Ekip bilinçli olarak küçüktür: bir mühendis, bir veri kişisi ve bir gün boyunca kullanıcıların yanına oturabilecek biri. Çıktılar yukarıda anlatılanlardır; en çok önemsediğimiz ise dondurulmuş değerlendirme setidir, çünkü sonraki bütün tartışmalardan bozulmadan çıkan tek belge odur. Bir müşteri keşif olmadan doğrudan geliştirme istiyorsa, genellikle kapsamın henüz hazır olmadığını söylüyor ve eksik olan alanları tek tek gösteriyoruz.

RAG, çıkarım ve sınıflandırma sistemlerinde bunu tekrar tekrar yaparak öğrendiklerimiz oldukça gösterişsiz. Görev tanımı keşif sırasında iki ya da üç kez yeniden yazılır ve gerçek gereksinim çoğunlukla ikinci yeniden yazımda ortaya çıkar. Etiketleme anlaşmazlığı, ilk iki haftada aldığımız en bilgilendirici sinyaldir. Pilot tarihini kaydıran şey model kalitesi değil, neredeyse her zaman kimlik bilgisi tedarik süresidir. Hazırlanması bir saatten kısa süren kapsam dışı listesi ise bugüne kadar herhangi bir yönlendirme komitesinden daha fazla çatışmayı önlemiştir. Bunların hiçbiri yeni bir model gerektirmiyor; hepsi, değiştirmesi hala ucuzken bir şeyleri yazıya dökmeyi gerektiriyor.

Bu sistemleri yazılı bir spesifikasyona göre geliştirilen özel yazılım olarak kuruyoruz; yani kapsam belgesi bir açılış sunumundaki slayt değil, sözleşmeye bağlı bir çıktıdır. Keşif sonunda insan başlangıç değeri zaten yüksek çıkıyorsa, veri hazır değilse ya da fayda gerekçesi güven skoru dağılımının desteklemeyeceği bir otomasyon oranına dayanıyorsa bunu açıkça söyler ve orada dururuz. Bu, alternatifinden çok daha küçük bir fatura ve iki taraf için de daha iyi bir sonuçtur. Yazılmış bir görev tanımınız zaten varsa getirin; ilk oturumu onu övmeye değil, kırmaya çalışarak geçirelim.