Yapay Zeka Yatırım Getirisi (ROI) Sayıları Neden Sorgulanınca Dağılır

Neredeyse her yapay zeka programı canlıya geçtikten birkaç ay sonra bir fayda rakamı üretir ve bu rakamların neredeyse hiçbiri ciddi bir finans incelemesinden sağ çıkmaz. Kalıp hep aynıdır: ekip bir işin eskiden ne kadar sürdüğünü ölçer, tahmini bir zaman kazancını aracı kullanan kişi sayısıyla çarpar, sonucu ortalama maaş üzerinden paraya çevirir ve üç haneli hassasiyette bir rakam sunar. Bu rakam kötü niyetli değildir; ama her halkası tek tek makul görünen, çarpımı ise kurgu olan bir varsayım zincirinin üzerine kurulmuştur. Dürüst ölçüm, sayıyı diğer uçtan, gerçekten denetlenebilir bir hesap biriminden başlayarak kurmak demektir.

Bu boşluk, ekiplerin kendilerini neyin engellediğini söylediği yerde ortaya çıkıyor. Bir NVIDIA 2026 anketinde katılımcıların %30’u, benimsemenin önündeki engel olarak yatırım getirisi (ROI) netliğinin eksikliğini gösterdi; bu, veri sorunları ve uzman eksikliğiyle aynı listede yer alan bir madde. Sebep neredeyse hiçbir zaman eksik bir hesap tablosu değildir; sebep, canlıya geçmeden önce hiç kimsenin neyin kanıt sayılacağı konusunda anlaşmamış olmasıdır. Sistem devreye girdikten sonra her ölçüm tartışmalı hale gelir, çünkü odadaki herkesin savunacağı bir pozisyonu ve tercih ettiği sayıları açıklayan bir hikayesi vardır. Bu yüzden ölçüm tasarımı, işletmelerin yapay zekayı benimseme kararlarıyla aynı belgeye girmelidir.

Bundan sonrası bir iş gerekçesi şablonu değil, bir ölçüm tasarımıdır ve şu sırayla ilerler: canlıya geçmeden temel ölçümü kurmak, hesap birimi olarak iş akışı başına yürütme maliyetini tanımlamak, önlenen maliyeti gerçekleşen maliyetten ayırmak, iş hacmi kazancını beraberinde getirdiği hata oranıyla iskonto etmek, karşıolgu sorununu kontrol grubu veya kademeli yayılımla çözmek, öncü göstergeleri ardıl göstergelerden ayırmak ve bir geri ödeme hesabıyla projeyi durdurma ölçütlerine ulaşmak. Örneklerdeki tüm para tutarları örnekleme amaçlıdır, Türk lirası cinsindendir ve ölçülmüş bir sektör ortalaması değil, makul bulduğumuz aralıklardır. Kendi sayılarınızı yerine koyduğunuzda kurgu aynı kalır; taşıyıcı olan, tek tek rakamlar değil hesabın iskeletidir.

Kazanılan Saatler, Birisi Onları Paraya Çevirene Kadar Para Değildir

Kazanılan zamanın kazanılan paraya dönüşmesi altı adımdan geçer ve her adım ayrı ayrı savunulmak zorundadır. Birinci adım, iş birimi başına kazanılan süre; tahmin edilen değil, ölçülen süre. İkinci adım, bu sürenin gerçek hacimle çarpımı, yani brüt saat. Üçüncü adım, brüt saatin gerçekleşme oranıyla çarpımı, yani paraya çevrilebilir saat. Dördüncü adım, bu saatlerin tam yüklü saatlik maliyetle çarpımı, yani brüt para. Beşinci adım, sistemin kendi işletme maliyetinin düşülmesi. Altıncı adım, sistemin getirdiği kalite kaybının maliyetinin düşülmesi. Zincirin sonuna ulaşan tutar genellikle en baştaki iddianın dörtte biri ile üçte ikisi arasında bir yerdedir ve aradaki fark neredeyse hiçbir zaman aritmetikte değildir.

Üçüncü adım, iş gerekçelerinin çoğunun öldüğü yerdir ve neredeyse her zaman atlanır. Bir aracın 40 kişilik bir ekipte kişi başı günde 30 dakika kazandırdığını varsayalım. Bu günde 20 saat, aylık 160 saatlik hesapla yaklaşık 2,5 tam zamanlı eşdeğer eder. Çeyrek sonunda ekip hala 40 kişiyse, çıktı değişmemişse ve hiçbir taşeron faturası düşmemişse şirket sıfır lira tasarruf etmiştir. Kapasite boşluğu satın almıştır. Boşluğun değeri vardır ama bir finans direktörünün parmak basabileceği bir satır değildir. Kazanılan saatler paraya yalnızca üç mekanizmayla dönüşür: doldurulmayan bir kadro, azaltılan bir dış hizmet gideri veya kendi gelir ya da gider satırını taşıyan bir işe kaydırılan kapasite.

Ana hatanın üzerine iki küçük hata daha biner. Ekipler tam yüklü maliyet yerine brüt maaşı kullanır; işveren primleri, araç lisansları, ofis, işe alım ve yönetim gideri hesaba katıldığında bu, gerçek saatlik maliyeti tipik olarak %35 ile %60 arasında eksik gösterir. İkincisi, sistemin talebi kendisinin değiştirdiği durumlarda hacmi sabit kabul ederler: bir iş akışı gündelik olarak kullanılabilecek kadar hızlandıktan sonraki iki çeyrekte inceleme hacminin %20 ile %40 arasında arttığını gördük. Çözüm analitik değil, prosedüreldir. Tek satır kod yazılmadan önce dönüşüm mekanizmasını adıyla yazın, uygulamaktan sorumlu kişiyi adıyla yazın ve bir tarih koyun. Hiç kimse hiçbir mekanizmanın altına imza atmıyorsa, işgücü bileşeni için dürüst tahmin sıfırdır ve proje kendini çevrim süresi, kalite veya kapasite üzerinden savunmak zorundadır. Bu konuşmanın yeri, cevabı değiştirmenin hala ucuz olduğu kapsam belirleme aşamasıdır.

Temel Ölçümü (baseline) Canlıya Geçmeden Kurun, Sonra Değil

Bu kategorideki en yaygın ölçüm hatası, eksik temel ölçümdür. Canlıya geçişten iki ila dört hafta önce mevcut süreci enstrümante edin ve altı şeyi kaydedin: haftalık hacim, talepten tamamlanmaya kadar geçen çevrim süresinin medyanı ve doksanıncı yüzdeliği, bekleme süresinden ayrılmış insan dokunma süresi, yazılı bir tanıma dayanan hata ve yeniden işleme oranı, ortalama bir yeniden işleme olayının maliyeti ve her adımı kimin yaptığı. Bunlar arasında en az işe yarayanı ortalama çevrim süresidir ve en çok raporlanan da odur. Para dağılımda saklıdır: medyanı iki saat, doksanıncı yüzdeliği dokuz gün olan bir sürecin hız sorunu değil, kuyruk sorunu vardır. Kolay ve zor vakaların temsili bir karışımından 150 ila 400 iş biriminin elle süre ölçümü, savunulabilir bir medyan için genellikle yeterlidir.

Süreç zaten zaman damgası üretiyorsa onları kullanın, ama güvenmeden önce ne anlama geldiklerini denetleyin: yürüttüğümüz projelerde kaydedilen başlangıç zamanı çoğu kez işin fiilen başladığı an değil, kaydın bir kişiye atandığı andır ve bu, temel ölçümü saatlerce şişirir. Geriye dönük temel ölçümler üç nedenle değersizdir ve yaklaşık değil, yok kabul edilmelidir. Birincisi, hafıza en kötü örneğe demirler: bir işin ne kadar sürdüğünü sorduğunuzda medyanı değil, acı veren örneği alırsınız. İkincisi, tanım sonuca uyacak şekilde kayar, çünkü temel ölçümü kuran kişi yeni sistemin ne ürettiğini zaten bilmektedir. Üçüncüsü, eski sürece tanıklık edebilecek kişiler çalışma biçimlerini çoktan değiştirmiştir. Canlıya geçtikten sonra yeniden kurulan bir temel ölçüm bir pazarlıktır, bir ölçüm değil; odadaki herkes de bunu bilir.

Temel ölçümler sıradan bir nedenle de başarısız olur: onları hesaplamak için gereken olaylar hiçbir sistemde mevcut değildir. Süreç e-posta ve paylaşılan bir klasörde yaşıyorsa çevrim süresi ölçülemez. Düzeltmeler sessizce yerinde yapılıyorsa hata oranı ölçülemez. Pratikte ilk projedeki ölçüm işinin kabaca üçte biri tesisat işidir; temel ölçüm enstrümantasyonunun sistemin üzerinde çalışacağı veriyi hazırlama işiyle aynı iş paketinde durmasının sebebi budur. Biten temel ölçümü; tanımlar, tarihler, örneklem büyüklükleri ve bir imza içeren tek sayfalık bir belgede dondurun ve henüz kimse tek bir sonuç görmeden dağıtın. Bu belge, sonradan çıkacak her tartışmanın referansı olur ve tanımların sessizce kaymasını engeller.

Hesap Birimi Olarak İş Akışı Başına Yürütme Maliyeti

Program düzeyindeki toplam maliyet rakamları karar almak için işe yaramaz, çünkü hiçbir şeyle karşılaştırılamazlar. İş akışı başına yürütme maliyeti karşılaştırılabilir: bir tam iş biriminin sistemden geçirilmesinin toplam maliyetidir ve dört bileşeni vardır. Ayda 1.200 yürütme yapan örnek bir sözleşme triyaj iş akışını ele alalım. Çıkarım (inference): yaklaşık 10.000 ila 14.000 girdi tokenı ve 900 civarı çıktı tokenı içeren, erişim ağırlıklı istemlerle yürütme başına 1,20 TL varsayalım; bu sayıyı bir makaleden değil, sağlayıcınızın güncel fiyat listesinden alın. Erişim ve altyapı: vektör veritabanı, embedding tazeleme, nesne depolama, orkestrasyon ve loglama için ayda 9.000 TL, yani yürütme başına 7,50 TL. İnsan incelemesi: yürütmelerin %30’u dört dakikalık bir incelemeye yönlendiriliyor, kalanı 30 saniyelik bir kontrolden geçiyor; bu, tam yüklü saatlik 450 TL üzerinden ortalama 1,55 dakika, yani 11,63 TL eder.

İtfa edilmiş geliştirme maliyeti, ekiplerin dışarıda bıraktığı bileşendir ve düşük hacimde diğer her şeye baskın çıkar. 24 aya yayılan 1.200.000 TL’lik bir geliştirme ayda 50.000 TL eder; 1.200 yürütmede bu, yürütme başına 41,67 TL demektir. Tam yüklü toplam maliyet böylece 1,20 artı 7,50 artı 11,63 artı 41,67, yani yürütme başına 62,00 TL olur. Marjinal karar için önemli olan sayı, yani yalnızca işletme maliyeti ise 20,33 TL’dir. Aynı iş biriminin manuel karşılığı, aynı uzmanın 22 dakikası, yani 165 TL’dir. Bu iki rakamdan iki çok farklı karşılaştırma çıkar ve ikisini karıştırmak, yönetim kurullarının yanlış yönlendirilme biçimidir.

Hacim, tabloyu ilk yıl elinizde olan her mühendislik iyileştirmesinden daha fazla değiştirir. Ayda 3.000 yürütmede aynı geliştirme 16,67 TL’ye, altyapı 3,00 TL’ye iner ve tam yüklü birim maliyet 32,50 TL olur. 600 yürütmede ise bunlar 83,33 ve 15,00 TL’ye çıkar, toplam 111,16 TL eder; bu, manuel maliyete rahatsız edecek kadar yakındır ve hata payı bırakmaz. Token optimizasyonuna girişmeden önce iş akışının özel bir geliştirmeyi hak edecek hacme sahip olup olmadığına bakın. Bu soru, bir yapay zeka projesinin gerçekte ne kadara mal olduğunun tam merkezinde durur ve genellikle çok geç sorulur.

Önlenen Maliyet ile Gerçekleşen Maliyet

Önlenen maliyet, aksi halde bir insanın yapacağı olan ve sistemin üstlendiği işin bir orana göre değerlenmiş halidir. Gerçekleşen maliyet ise kar zarar tablosundan farklı biçimde çıkan paradır: doldurulmayan bir kadro, azaltılan bir dış hizmet faturası, ödenmeyen fazla mesai, yenilenmeyen bir lisans, daha erken kaydedilen bir gelir. Önleme gerçektir ve ölçmeye değer, ama nakit değil kapasitedir. Nakde ancak adı belli bir kişinin verip savunmak zorunda olduğu bir kararla dönüşür. Yönetim kurulları ikisini sürekli karıştırır ve bu karışıklık masum değildir, çünkü önlenen rakamlar daha büyüktür, daha erken gelir ve kimsenin rahatsız edici bir şey yapmasını gerektirmez.

Hata, önlenen rakamlar projeler arasında toplandığında katlanır. Üç ayrı girişim, on kişilik bir ekibin %20’sini kazandırdığını iddia eder ve portföy değerlendirmesi altı kişilik bir tasarruf raporlar. Bu altı kişinin kim olduğunu sorduğunuzda cevap, hepsinin hala çalışıyor olmasıdır. Sağlama basit aritmetiktir: bir fonksiyon için iddia edilen tüm tasarrufların toplamı, o fonksiyonun toplam maliyetini aşamaz. Yürüttüğümüz projelerde bu tavanı uygulamak, daha kimse metodolojiyi tartışmaya başlamadan iddia edilen portföy faydasının üçte biri ile yarısı arasındaki kısmını siler. Sağlamanın işe yaraması için hesabın tek bir yerde tutulması gerekir; her proje kendi sunumunda kendi tasarrufunu iddia ederse toplam hiçbir zaman kontrol edilmez.

İki rakamı da raporlayın, iki ayrı sütunda, ve asla tek bir manşet sayısında harmanlamayın. Gerçekleşen sütunu finansın kayda alabileceğini gösterir ve içindeki her satır adı belli bir sahibi ve bir hedef ayı taşır. 400.000 TL önleme ve 0 TL gerçekleşme gösteren bir proje başarısız değildir; dönüşüm kararı henüz verilmemiş bir projedir. Bunu açıkça söylemek, harmanlanmış bir rakam uydurmaktan çok daha iyidir; çünkü bir yıl sonra kimse tasarrufları bulamadığında geri alıntılanan sayı, o harmanlanmış rakam olur. Önlenen sütunu ise sistemin yarattığı kapasiteyi gösterir ve operasyon planlaması için gerçekten işe yarar; yalnızca finansal tasarruf diye sunulmaması gerekir.

Kaliteye Göre Düzeltilmiş İş Hacmi: Doğruluktan Çalan Hız, Hız Değildir

Hata oranını yükselterek gelen iş hacmi kazancı kazanç değildir ve aritmetiği acımasızdır. Hatalar yalnızca iyi çıktı sayısını azaltmaz; yeniden işleme yoluyla kapasite de tüketirler. Bu yüzden her iş hacmi iddiası iki düzeltme ister: önce kusurlu çıktıyı düşün, sonra onu düzeltmek için harcanan süreyi düşün. Yalnızca ilk düzeltmeyi raporlayan ekipler kazancı hala ciddi biçimde abartır; hiçbirini raporlamayanlar ise gerçeğin dört katı bir sayı üretebilir. Hata oranını aynı değerlendirme ölçütüyle, öncesinde ve sonrasında, bir örneklemin kör yeniden incelemesiyle ölçün. Yeniden işleme, iş olup bittikten sonra, hatanın daha pahalı ve daha görünür olduğu anda gerçekleşir; bu yüzden gecikmeli bir maliyettir ve ilk raporda hiç görünmez.

Örnek üzerinden gidelim. Bir inceleme ekibi günde 100 iş birimini %3,0 hata oranıyla tamamlıyor. Döngüde bir asistan varken aynı ekip günde 160 iş birimi tamamlıyor, ancak hata oranı %5,2’ye çıkıyor. Manşet kazanç %60. Yalnızca kusurlu çıktıya göre düzeltince 97 iyi birime karşı 151,7 iyi birim, yani %56 kazanç kalıyor. Şimdi yeniden işlemeyi fiyatlayalım: kaçan her hatanın bulunup düzeltilmesi 45 dakika sürüyor. Manuel süreç 3 hata ve 2,25 saat yeniden işleme üretiyor, yani 100 iş birimi toplam 10,25 saat tüketiyor. Asistanlı süreç 8,3 hata ve 6,2 saat yeniden işleme üretiyor, yani 160 iş birimi toplam 14,2 saat tüketiyor.

Etkin iş hacmi böylece öncesinde saatte 9,8, sonrasında 11,2 birim olur; kazanç %60 değil %15’tir. Üstelik bu iyimser versiyondur, çünkü her hatanın kurum içinde yakalandığını varsayar. Hataların bir kısmı müşteriye, düzenleyiciye veya karşı tarafa ulaşıyorsa yeniden işleme maliyetindeki çarpan bir değil beş ile yirmi arasındadır ve küçük bir hata oranı artışı pozitif bir projeyi negatife çevirebilir. Hata oranı hacimle aynı panoda durmalı, yılda bir denetlenmek yerine sürekli örneklenmelidir; bu da yalnızca canlı öncesinde değil, üretimde değerlendirme ve gözlemlenebilirlik yürütmenin pratik gerekçesidir. Örneklem büyüklüğünü sabit tutun ki hata oranındaki hareket, ölçüm biçimindeki bir değişiklikten değil sistemin kendisinden gelsin.

Karşıolgu (counterfactual) Sorunu ve Kontrol Grubuyla Çözümü

Sonrasını öncesiyle karşılaştırmak, başka hiçbir şeyin değişmediğini varsayar ve bu hiçbir zaman doğru değildir. Hacim mevsime göre oynar, ekip işte kendi başına ustalaşır, aynı çeyrekte bir süreç değişikliği devreye girer. Bunlardan herhangi biri ölçülen etkinin tamamını tek başına üretebilir. Tek güvenilir cevap eşzamanlı bir kontrol grubudur: aynı işin bir bölümünün, aynı dönemde, eski yöntemle yürütülmesi. Bu olmadan sistemi değil, içinde bulunduğunuz çeyreği ölçüyorsunuzdur ve finans ekibi er ya da geç cevaplayamayacağınız bir soru soracaktır. Büyük bir müşterinin ayrılması ya da üç deneyimli uzmanın yerine iki yeni kişinin gelmesi de aynı etkiyi tek başına yaratabilir ve bunların hiçbiri raporun altına not düşülmez.

Uygulanabilir bir kontrol grubu, uygun hacmin %20 ila %30’u kadardır, en az altı ila sekiz hafta çalışır ve rastgeleleştirme birimi verilecek karara göre seçilir. İş birimi bazında rastgeleleştirme istatistiksel olarak en temizidir ama aynı kişi iki kolu birden ele aldığında ciddi biçimde sızdırır, çünkü asistanlı işlerden öğrendiği şey manuel işleri yapma biçimini de değiştirir. Kişi bazında rastgeleleştirme bu sızıntıyı kaldırır ve bir yenisini getirir, çünkü insanlar birbiriyle konuşur. Ekip bazında rastgeleleştirme en sağlamı ve en az duyarlı olanıdır; üzerine hareket edeceğiniz bir sinyal için genelde dört değil sekiz hafta ister.

Kontrol grubunun siyaseten imkansız olduğu yerde kademeli yayılım aynı işin çoğunu görür. Dört ekibi iki hafta arayla canlıya alın: her ekip geçiş yapmadan önce kendi kontrolüdür ve henüz geçmemiş her ekip, geçmiş olanlar için eşzamanlı bir kontroldür. Karşılaştırma bir farkların farkı analizidir ve temel ölçüm düzgün enstrümante edildiyse bunu kurmak zor değildir. Kademeli yayılım zaten ölçümle hiç ilgisi olmayan sebeplerle de doğru cevaptır; pilottan canlıya geçiş konusunda bu kadar öne çıkmasının sebebi budur. Kademeli yayılımda tek şart, geçiş takviminin operasyonel aciliyete göre değil önceden yazılmış bir sıraya göre belirlenmesidir; aksi halde önce en hevesli ekipler geçer ve seçim yanlılığı geri döner.

Beş belirli karıştırıcıya karşı önlem alın. Mevsimsellik: ay sonu ve çeyrek sonu hem hacmi hem hata oranını bozar, bu yüzden bunlardan yalnızca birine denk gelen dört haftalık bir test asla yapmayın. Öğrenme eğrisi: yeni bir araçla uzman performansı tipik olarak üç dört hafta boyunca yükselmeye devam eder, dolayısıyla ilk iki hafta kararlı durumu olduğundan düşük gösterir. Seçim: kullanıcılar sisteme neyi yönlendireceğini kendisi seçiyorsa kolay vakaları yönlendirir ve ölçülen kazanç büyük ölçüde vaka karışımından ibaret kalır. Sızma: iki kol arasında bulaşma. Ve eşzamanlı değişiklik: test süresince diğer süreç değişikliklerini dondurun veya etkileri hiçbir zaman ayıramayacağınızı kabul edin.

Öncü ve Ardıl Göstergeler Farklı Saatlerde Çalışır

Haftalık panolar yalnızca öncü göstergeleri taşımalı ve bunlar en fazla yedi ila dokuz tane olmalı, her birinin bir eşiği ve adı belli bir sahibi bulunmalıdır. İşe yarayan set şudur: uygun hacmin yüzdesi olarak benimseme, yükseltme veya geri düşme oranı, insan geçersiz kılma oranı, sabit bir regresyon setinde değerlendirme (eval) geçme oranı, erişim isabet oranı, medyan ve doksanıncı yüzdelik gecikme, yürütme başına maliyet ve düşük güvenli işleme yönlendirilen hacim. Bunlar günler içinde hareket eder, mühendislik çalışmasına yanıt verir ve sistemin doğru yörüngede olup olmadığını söyler; hiçbiri faydanın kendisi değil, faydanın sonradan ortaya çıkması için doğru olması gereken şeylerdir.

Üç aylık değerlendirmeler ardıl seti taşır: temel ölçüme göre iş birimi başına maliyet, doksanıncı yüzdelikte çevrim süresi, hata ve yeniden işleme oranı, sahipleri ve tarihleriyle birlikte plana karşı gerçekleşen dönüşüm ve ilk tahmine karşı geri ödeme ilerlemesi. İş birimi başına maliyeti haftalık panoya koymak, birinin iki haftalık bir dalgalanmaya tepki verip bir değişiklik yayınlamasını ve karşılaştırmayı bozmasını garanti eder. Yürüttüğümüz projelerde makul ritim şudur: öncü set için haftalık on beş dakikalık bir gözden geçirme, kayma üzerine aylık yazılı bir not ve geri ödeme modelinin gerçek rakamlarla yeniden kurulduğu üç aylık bir oturum.

İki başarısızlık biçimi simetriktir. Yalnızca öncü göstergeleri izleyen ekipler dört çeyrek boyunca yüksek benimseme ve iyi gecikme raporlar, ama birim maliyetin manuel temelin altına hiç inmediğini fark etmez. Yalnızca ardıl göstergeleri izleyen ekipler ise bir sorunu başladıktan iki çeyrek sonra, nedeni artık izlenemez haldeyken keşfeder. Her iki set de loglama en baştan tasarlanırsa ucuza enstrümante edilir, sonradan eklenirse pahalıdır; çünkü ardıl set için gereken olayların, üretim sistemi gerçek işi ele aldığı ilk günden itibaren üretiliyor olması gerekir. Bunu ilk sürüme koymak birkaç gün, sonradan koymak birkaç ay sürer. Bu maliyet farkı, ölçüm tasarımını mimari kararların içine almanın en somut gerekçesidir.

Baştan Sona Bir Geri Ödeme (payback) Hesabı

Örnek iş akışına dönelim: ayda 1.200 yürütme, 1.200.000 TL geliştirme maliyeti, yürütme başına 165 TL manuel insan maliyeti ve canlı sonrası yürütme başına 11,63 TL insan maliyeti. Kazanılan insan süresinin değeri yürütme başına 153,37 TL, yani ayda 184.044 TL’dir. Makine işletme maliyeti çıkarım artı altyapıdır: yürütme başına 8,70 TL, ayda 10.440 TL. Naif aylık fayda böylece 173.604 TL, naif geri ödeme süresi de 1.200.000 bölü 173.604, yani 6,9 aydır. Yönlendirme komitesi sunumuna giren sayı budur ve kabaca iki kat yanlıştır; yanlışlığın kaynağı hesap hatası değil, hesaba hiç alınmamış üç kalemdir.

Şimdi gerçekleşme oranını uygulayalım. Boşalan süre ayda 409 saattir. Bunun 160 saati, gerçekten yerine alım yapılmayacak bir uzman kadrosuna karşılık gelir ve saatlik 450 TL üzerinden ayda 72.000 TL eder. Bir 130 saati, halihazırda ayda 36.000 TL’ye dışarıdan alınan bir işin yerini alır. Kalan 119 saat ise toplantılara, kimsenin takip etmediği ödenmemiş fazla mesaiye ve genel boşluğa karışır ve sıfır değerindedir. Gerçekleşen işgücü değeri ayda 108.000 TL, yani %59’luk bir gerçekleşme oranıdır. 10.440 TL işletme maliyeti düşüldüğünde dürüst aylık fayda 97.560 TL olur ve geri ödeme 12,3 aya kayar. Bu üç kalemin her biri ayrı bir kişinin taahhüdüne bağlıdır ve hiçbiri kendiliğinden gerçekleşmez.

Sonra kalite düzeltmesini uygulayalım. Aynı ölçütle hata oranının %3,0’tan %4,8’e çıktığını varsayalım; bu, 1.200 yürütmede ayda 21,6 ek hata demektir ve her biri saatlik 450 TL üzerinden 45 dakikalık yeniden işleme, yani 337,50 TL maliyet taşır. Toplam ayda 7.290 TL. Net aylık fayda 90.270 TL’ye, geri ödeme 13,3 aya iner; yani sistem 7. ayda değil, 14. ay içinde başabaş noktasına ulaşır. Bu dizide yalnızca işletme maliyeti, dönüşüm kararı ve hatalar sayılmıştır; üçü de ilk günden itibaren gerçekte zaten oradaydı. Kalite maliyetini hesaba katmayan bir modelin hatası küçük görünür ama yön değiştiricidir; hata oranı bir puan daha artsaydı geri ödeme bir yıl daha uzayacaktı.

Duyarlılığı yayımlayın, çünkü tek bir varsayım cevabı diğerlerinin toplamından daha fazla oynatır. %40 gerçekleşme oranında aylık fayda 55.888 TL ve geri ödeme 21,5 aydır. %59’da fayda 90.270 TL ve geri ödeme 13,3 aydır. %80’de fayda 129.505 TL ve geri ödeme 9,3 aydır. Bu, bir yönetim kurulunun fonladığı proje ile fonlamadığı proje arasındaki farktır ve tamamen birinin bir kadroyu doldurmamaya söz verip vermeyeceğine bağlıdır. Bu üç sütunu tek bir sayfaya koyun, varsayımı adıyla yazın ve kararın model hakkında değil, varsayım hakkında verilmesini sağlayın. Model tartışması eğlencelidir; kararı belirleyen tartışma ise kadro ve sözleşme tarafındadır. Duyarlılık tablosu, bu tartışmayı gündeme getirmenin en zararsız yoludur.

Ne Zaman Durmak Gerekir ve Ölçümü Nasıl Yürütüyoruz

Bazı projelerin ölçülebilir bir getirisi yoktur ve disiplin, bunu sabır tükendiğinde değil, önceden belirlenmiş bir takvimde söylemektir. Gartner’ın Haziran 2025 basın bülteni, 3.400’den fazla katılımcıyla yapılan bir ankete dayanarak agentic AI projelerinin %40’tan fazlasının 2027 sonuna kadar iptal edileceğini öngördü; gerekçe olarak artan maliyetler, belirsiz iş değeri ve yetersiz risk kontrolleri sayıldı. Bu listedeki ilginç madde belirsiz iş değeridir, çünkü bir ölçüm planının gerçekten önleyebileceği tek madde odur. Ne kadar değer ürettiğini söyleyemeyen bir proje, eninde sonunda bunu kendisi de söyleyemeyen biri tarafından iptal edilir ve kurum her iki karardan da hiçbir şey öğrenmez.

Durdurma ölçütlerini canlıya geçmeden belirleyin ve pilot kalıcı hale geldikten bir çeyrek sonra gözden geçirin. Teşhis edilmiş ve düzeltilebilir bir sebep olmadan uygun hacmin %30’unun altında benimseme. Kaliteye göre düzeltilmiş iş hacmi kazancının %10’un altında olması ve iki ardışık ayda yukarı yönlü eğilim göstermemesi. Yürütme başına maliyetin düşmemesi ve hala iş birimi başına manuel maliyetin üzerinde olması. %25’in altında bir gerçekleşme oranı ve dönüşümün altına imza atacak bir sahibin bulunmaması. Geri ödeme tahmininin iki ayrı kez, her seferinde yarıdan fazla ötelenmiş olması. Bu beşten ikisi, arkasında inandırıcı bir plan olmadan, durdurma anlamına gelir. Durmak yapılan işi çöpe atmak zorunda değildir: etiketlenmiş veri, değerlendirme seti, temel ölçüm enstrümantasyonu ve erişim hattı genellikle o uygulamadan uzun yaşar, bu yüzden sorunun kullanım senaryosu mu, veri mi, iş akışı tasarımı mı yoksa benimseme mi olduğunu cevaplayan iki sayfalık bir değerlendirme yazın.

HatsonTech’te ölçüm tek sayfasını, ilk istem yazılmadan önce kapsam belgesinin içine koyuyoruz ve ilk sürümle birlikte yürütme başına token, erişim çağrısı, gecikme ve insan dokunma süresini loglayan bir maliyet sayacı yayınlıyoruz; böylece yürütme başına maliyet sonradan yeniden kurulmak yerine ilk günden var oluyor. Varsayılan olarak kademeli yayılım yapıyoruz ki her zaman eşzamanlı bir kontrol bulunsun. Gördüğümüz ölçüm başarısızlıklarının çoğu aslında veri mühendisliği başarısızlığıdır; temel ölçüm işinin çoğu zaman bir modelleme işi değil, bir veri hattı ve veri ambarı işi olarak başlamasının sebebi budur. Sayılar devam etmeyi desteklemediğinde bunu, en başta koyduğumuz şartlarla söylüyoruz.