Yapay Zeka Geliştirme Tedarikçisi Nasıl Seçilir?

Kimsenin Yayımlamadığı Değerlendirme Aracı

Yapay zeka tedarikçisi nasıl seçilir diye anlatan yazı bolluğu var ve neredeyse hepsi yazarını bariz cevap gibi gösterecek şekilde kurgulanmış. Sorular, yayımlayan firmanın geçeceği biçimde seçiliyor. Rahatsız edici olanlar, yani promptların kime ait olduğu, baş mühendis ayrıldığında ne olacağı ve firmanın geliştirdiği bir sistemi hiç gecenin üçünde işletip işletmediği, sessizce listeden çıkarılıyor. Aşağıdaki sürüm, bir alıcının bize karşı kullanmasını isteyeceğimiz sürümdür; yani içinde bize sorulmasını tercih etmeyeceğimiz en az üç soru bulunuyor. Kendi cevaplarımızı da son bölüme yazdık; ama önce kendi tedarikçi listenizi hazırlarsanız araç daha iyi işler.

Aracı belirli bir sırayla kullanın. Referanslardan ve gerçekten görmüş olduğunuz işlerden sekiz ila on iki firmalık bir uzun liste kurun. Üçüncü ve dördüncü bölümdeki sahiplik ve veri şartlarını kullanarak üç ila beş firmalık kısa listeye inin; çünkü bunlar hızla kontrol edilebilen sözleşmesel gerçeklerdir ve herhangi bir teknik görüşmeden daha çok adayı eler. Sonra kalan üç firmaya gerçek zaman, mümkünse gerçek para ayırın. Sekiz firmayı derinlemesine görüşmek herkesin çeyreğini heba eder ve zaten işin çoğunu eleme kriterleri yapar. Uzun listeyi kurarken referansı veren kişiye tek bir soru sorun: o sistemi bugün hâlâ kullanıyorlar mı?

Sorulardan önce bir çerçeve notu. Bir model satın almıyorsunuz, aslında kod da satın almıyorsunuz. Satın aldığınız şey, birinin sizin verinize, risk toleransınıza ve iş akışınıza dair muhakemesi ve bunun üzerinden ölçülmeye razı olmasıdır. Aşağıdaki yararlı soruların neredeyse tamamının teknolojiyle değil kanıt ve sözleşme şartlarıyla ilgili olmasının sebebi bu; maliyet yapısının fiyat kadar önemli olmasının sebebi de aynı. O yapıyı yapay zeka projesi gerçekte ne kadar tutar yazımızda ayrıntısıyla kurduk. Bu yüzden aşağıdaki bölümleri yalnızca teknik ekibinizle değil, satın alma ve hukuk ekibinizle birlikte okuyun.

Canlı Deneyim Kanıtı: İstenecek Üç Belge

En işe yarar ayırt edici ölçüt, firmanın kendi işini canlıda, yük altında, gerçek kullanıcılarla ve birkaç aydan uzun süre işletip işletmediğidir. Demolar bunu göstermez, vaka çalışmaları da nadiren gösterir. Üç belge gösterir. Önceki bir projeden, gerektiği kadar maskelenmiş bir değerlendirme altyapısı isteyin. Bir olay müdahale kılavuzu isteyin. Ve bir geri alma hikâyesini baştan sona anlatmalarını isteyin: canlıda ters giden bir şey, nasıl fark ettikleri, ne yaptıkları ve ne kadar sürdüğü. Bunlar bir mühendislik firması için sıradan, yalnızca demo geliştiren bir firma içinse çok şey söyleyen taleplerdir. Üçünü birden veremeyen bir firma mutlaka kötü değildir ama fiyatı ve riski buna göre konumlanmalıdır.

Değerlendirme altyapısında belgenin varlığına değil ayrıntılarına bakın. Altın veri seti ne kadardı ve doğru cevapları kim yazdı. Erişim metrikleri cevap kalitesinden ayrı mı puanlandı. Regresyon koşusunu ekipten herkes tetikleyebiliyor muydu ve ne kadar sürüyordu. Kalitenin yanında maliyet ve gecikme de iddia ediliyor muydu. Rakamlar bilinmeden önce üzerinde anlaşılmış bir rubrik var mıydı. Değerlendirmeyi baştan sona bakımı yapılan bir varlık değil de sonda gelen bir faz sayan firma, hiçbir değişikliğin güvenli olduğunu kanıtlamakta zorlanır; projelerin süresiz takılmasının mekanizması tam olarak budur. Altyapının bugün hâlâ koşulup koşulmadığını da sorun; bakımı bırakılmış bir altyapı, hiç olmamasından yalnızca biraz iyidir.

Olaylar konusunda yararlı soru, hiç olay yaşayıp yaşamadıkları değildir. Herkes yaşamıştır. Yararlı sorular şunlar: nasıl haberleri oldu, kim nöbetteydi, acil durdurma mekanizması neydi, sorunu kullanıcılar ekipten önce mi gördü ve sonrasında ne değişti. Belirli bir tarih ve gurur okşamayan bir ayrıntı içeren samimi bir cevap, cilalanmış bir cevaptan daha değerlidir. Gerçekten sistem işletmiş firmalar size bir sağlayıcının varsayılan bir ayarı değiştirdiği ve altı saat boyunca hiçbir şeyin çalışmadığı günü anlatır, çünkü o hikâye evrenseldir. Sorunun kaç dakikada fark edildiğini de sorun; bu tek rakam, gözlemlenebilirlik yatırımlarının gerçek seviyesini gösterir.

Bu bölümü iki soruyla kapatın. Birincisi: canlı bir sistemi model sürümleri veya sağlayıcılar arasında kaç kez taşıdınız ve her seferinde ne tuttu. İkincisi: canlıda gerçekten ölçtüğünüz bir p95 gecikme rakamı nedir ve hangi eşzamanlılıkta ölçüldü. Buradaki muğlak cevaplar genelde kaçamak değil dürüst sinyallerdir: firma bu durumu hiç yaşamamıştır. Küçük bir proje için bu yine de kabul edilebilir olabilir ama fiyatı buna göre olmalıdır. Altyapının neleri içermesi gerektiğine dair kendi görüşümüz yapay zeka sistemlerini değerlendirme yazımızda duruyor. Küçük bir ekiple çalışacaksanız bu iki soruyu sözleşme şartı olarak değil beklenti ayarı olarak sorun.

Ne Kime Ait: Fikri Mülkiyet, Model Ağırlıkları, Promptlar ve Altın Veri Seti

Standart yazılım sözleşmeleri kaynak kodu sahipliğini makul biçimde ele alır ve sonra bir yapay zeka projesinde asıl önemli olan her şey hakkında susar. Altı şeyin açık maddeye ihtiyacı var. Kaynak kodu. Sizin verinizle yapılan ince ayardan (fine-tuning) çıkan model ağırlıkları ve adaptörler. Prompt kütüphanesi ve sistem talimatları. Altın veri seti ve uzmanlarınızın ürettiği her etiket. Külliyatınızdan üretilen embeddingler ve indeks. Ve artık yalnızca tedarikçinin hattında var olan, çıkarılmış varlıklar veya sınıflandırmalar gibi türetilmiş veriler. Sözleşme yalnızca ilkini adlandırıyorsa projeye hiç değinmemiştir. Bu altı kalemi teklif aşamasında tek tek sormak, sonradan yapılacak her müzakereden ucuzdur.

Altın veri seti ayrı bir dikkat hak ediyor, çünkü faydalı ömrü en uzun olan varlık odur. Model değişikliğinden, vektör veritabanı değişikliğinden, çerçeve değişikliğinden ve tedarikçi değişikliğinden sağ çıkar. Aynı zamanda kendi ekibinizin zamanıyla ödediği varlıktır; orta ölçekli bir projede tipik olarak 8 ila 15 günlük konu uzmanı eforu demektir. Bunu sizin veriniz değil kendi metodolojisi sayan bir tedarikçi, sizden saklayamayacağınız bir varlığı fonlamanızı istiyordur ve bunu test etmenin kibar yolu, setin sonda değil her kilometre taşında açık formatta teslim edilmesini istemektir. Setin sürüm geçmişinin de sizde kalmasını isteyin; hangi maddenin ne zaman değiştiğini bilmek denetimde işinize yarar.

Model ağırlıkları iki yönde de dikkat ister. Bir tedarikçi sizin verinizle ince ayar yapıyorsa, ortaya çıkan adaptör sizin olmalı ve temel model lisansı elverdiği ölçüde başka yere taşıyabilmelisiniz. Buna karşılık, vermeye hakkı olmadığı ağırlıkları size vermeyi teklif eden tedarikçiden şüphelenin. Hangi temel modellerin işin içinde olduğunu ve hangi lisansla kullanıldığını sorun; eğitim sırasında verinize ne olduğunu da sorun: projenizin dışında bir şeyi iyileştirmek için kullanılıyor mu ve sonrasında siliniyor mu. Bunlar tek satırlık cevabı olan sorulardır. Temel model lisansının ticari kullanımı ve türev çalışmaları kapsayıp kapsamadığını da yazılı olarak isteyin.

Bunların çoğunu avukatsız çözen pratik bir mekanizma var. İşin, sonda devredilmek yerine birinci günden itibaren sizin deponuzda, sizin bulut hesabınızda veya kurum içi ortamınızda yaşamasında ısrar edin. Promptlar, değerlendirme setleri, altyapı tanımları ve veri hatları da orada yaşasın. Buna direnen bir tedarikçi, ilişkinin nasıl biteceği hakkında size yararlı bir şey söylüyordur. Aynı sorunun veri tarafını, yani bunların önemli olmasından önce neyi hazırlamanız gerektiğini yapay zeka projesi için veri hazırlığı yazımızda ele aldık. Depo erişimini birinci günde açmak bir güven meselesi değil, basit bir operasyonel tercihtir.

Veri İşleme, Alt İşleyiciler ve Asıl Önemli Şartlar

6698 sayılı Kanun kapsamında veri sorumlusu siz olmaya devam edersiniz; tedarikçi normalde sizin talimatınızla hareket eden veri işleyendir. İşlemenin içinde bir model olması bu dağılımı değiştirmez. Pratikte, herhangi bir işleyen için soracağınız soruların aynısını cevaplayabilmeniz gerekir: 5. ve 6. maddelerdeki hukuka uygunluk sebebi, 10. maddedeki aydınlatma yükümlülüğü, 11(g) maddesindeki münhasıran otomatik kararlara ilişkin durum ve 12. maddedeki güvenlik yükümlülükleri. Tedarikçiden bunların her birini genel olarak değil, önerdikleri somut sistem hakkında yazılı cevaplamasını isteyin. Cevapları teklif ekine koydurun; sözleşme müzakeresinde bu ek, ayrı bir uyum çalışmasının yerini tutar.

Sonra alt işleyici listesini isteyin. Kategori listesi değil, gerçek bir liste: hangi model sağlayıcısı, hangi barındırma sağlayıcısı, hangi vektör veritabanı, hangi belge dönüştürme servisi, hangi gözlemlenebilirlik aracı ve her birinin veriyi coğrafi olarak nerede işlediği. Bu liste değişmeden önce size ne kadar önceden haber verileceğini sorun ve itiraz hakkıyla birlikte en az otuz gün için pazarlık edin. Bu tek soru, kısa listedeki tedarikçileri diğer her sorudan daha çok eler; genelde daha önce kimse sormadığı ve cevabın derlenmesi iki hafta sürdüğü için. Cevabın ne kadar sürdüğü de başlı başına bilgidir.

Sıradan operasyonel şartları da aynı görüşmede kapatın. Ne kaydediliyor, promptlar ve getirilen içerik saklanıyor mu, ne kadar süreyle. İçeriğinizin herhangi bir kısmı projeniz dışındaki bir modeli iyileştirmek için kullanılıyor mu. Sözleşme sona erdiğinde verinize, indekslerinize ve kayıtlarınıza ne oluyor ve kaç gün içinde. Veri belirli bir bölgeye sabitlenebiliyor mu veya tamamen kendi ağınızda tutulabiliyor mu. Ve tedarikçi tarafında canlı kayıtları kim okuyabiliyor. Bunlar kısa cevabı olan kısa sorulardır ve asıl sinyal tereddüttür. Hepsini tek bir e-postada sormak, cevapların ne kadar hazır olduğunu da ölçer.

AB'ye maruziyeti olan kurumlar için bir katman daha var. Yapay Zeka Yasası, yani (AB) 2024/1689 sayılı Tüzük, 2 Ağustos 2026'da uygulanmaya başladı; (AB) 2026/1744 sayılı Tüzük sonrasında Ek III kapsamındaki bağımsız yüksek riskli kategoriler 2 Aralık 2027'den, Ek I kapsamındaki ürüne gömülü olanlar 2 Ağustos 2028'den itibaren uygulanıyor, Madde 50 şeffaflık yükümlülükleri ise planlandığı gibi 2 Ağustos 2026'da yürürlüğe girdi. İş yükünüz yüksek riskli olabilecekse, tedarikçinin hangi belgelendirme ve kayıt çıktılarını sözleşmeyle üreteceğini sorun. Daha geniş gizlilik tablosunu yapay zeka ve veri gizliliği yazımızda ele aldık.

Çıkış ve Devir: Israr Edilmesi Gereken Maddeler

Sonu en başta yazın. İşleyen bir devir maddesinin dört parçası vardır: tanımlı bir bildirim süresi, üzerinde anlaşılmış bir ücretle sabit sayıda geçiş desteği günü, teslim edilecek çıktıların listesi ve son tarihi olan bir silme yükümlülüğü. Otuz gün geçiş desteği ve silme için otuz gün makul varsayılanlardır. Çıktı listesi kod deposunu, promptları, altın veri setini ve değerlendirme sonuçlarını, altyapı tanımlarını, veri hattı kodunu, bir mimari belgesini ve bir işletme kılavuzunu adıyla saymalıdır. Bu dört parçayı sözleşmenin ekine değil gövdesine koyun; ekler müzakerede ilk düşen yerdir.

Asıl koruma sözleşmesel değil yapısaldır. Kod ve veri baştan beri sizin ortamınızda yaşadıysa devir, bir proje değil bir öğleden sonralık erişim değişikliğidir. Tedarikçinin ortamında yaşadıysa hiçbir madde geçişi acısız kılmaz, çünkü asıl önemli olan bilgi hiçbir teslimat kaleminin içinde değildir. İşin nerede yaşayacağını erken sorun ve cevabı, onların teknik tercihi değil sizin maruziyetinize dair bir karar olarak değerlendirin. Pratik ölçüt şudur: bugün tedarikçiyle yollarınızı ayırsanız, sistemi yarın kim çalıştırırdı ve neye ihtiyaç duyardı? Bunu bir sayfada yazamıyorsanız devir maddeniz yalnızca kâğıt üzerindedir.

Tedarikçilerin, bu arada bizim de, rahatsız olduğu bir soru daha sorun. Bu projedeki en iyi iki kişiniz yarın ayrılsa sistemimize ne olurdu ve cevabın pek bir şey olmaz olması için ne yaptınız? İyi cevaplar dokümantasyon, birlikte çalışma, herkesin koşabildiği bir değerlendirme altyapısı ve hiçbir bileşenin tek sahibinin olmaması kuralını içerir. Kötü cevaplar çalışan bağlılığı üzerine güvence içerir. Bu, iç ekiplerin de karşılaştığı aynı süreklilik sorusudur ve yalnızca satın almada değil yönetişim çerçevenizde de yeri vardır; bunu kurumsal yapay zeka yönetişimi yazımızda ele aldık.

Vazgeçebileceğiniz Bir Ücretli Keşif Nasıl Kurulur

Kısa listedeki bir tedarikçiden satın alabileceğiniz en yararlı şey küçük, ücretli ve sabit fiyatlı bir keşiftir. Ücretli, çünkü bedava iş satış işidir ve bilgilendirmek için değil ikna etmek için kapsamlandırılır. Sabit fiyatlı, çünkü bir tavana ihtiyacınız var. Küçük, çünkü amaç durabilmek. Planlama rakamı olarak beklenen yatırım bütçesinin yüzde 5 ila 8'i ve iki ila dört hafta makul bir zarftır; teslim edilecekler ise sonradan anlatılmak yerine başlamadan önce yazılmalıdır. Keşif süresini de sabitleyin; süresi açık uçlu bir keşif, farkına varmadan ücretsiz bir pilota dönüşür.

Parasını vermeye değer bir keşif beş şey üretir: belgelerinizden gerçek bir rastgele örnekleme dayanan ve birkaç bini üzerinde metin çıkarma gerçekten koşulmuş bir veri değerlendirmesi, uzmanlarınızla birlikte kurulmuş bir ilk altın veri seti, içinde sayılar geçen yazılı kabul kriterleri, her sistemi ve sahibini adıyla sayan bir entegrasyon envanteri ve önce kişi-hafta sonra para olmak üzere kalem kalem bir tahmin. Tedarikçi kendinden eminse hiçbir şeye mal olmayacak bir madde daha ekleyin: devam etseniz de etmeseniz de bunların tamamı açık formatta size aittir. Beş çıktının her birinin kabul kriterini de keşif sözleşmesine yazın; keşfin kendisi de teslim edilebilir bir iştir.

Asıl mesele o son maddedir. Çıktılar sizinse bunları ikinci bir tedarikçiye götürebilir, projeyi kurum içinde yürütmek için kullanabilir ya da işi kaybetmeden fikri iki çeyrek rafa kaldırabilirsiniz. Keşif çıktılarının kendisinde kalmasını isteyen bir tedarikçi size bir satış süreci satıyordur. İki tedarikçiyle paralel yürütülen iki keşif tek keşiften pahalıdır ama sıklıkla bir çeyrek kazandırır; bunun arkasındaki kapsam disiplinini yapay zeka projesinde kapsam nasıl belirlenir yazımızda anlattık. İki paralel keşif ayrıca iki farklı veri değerlendirmesi verir ve bu ikisinin nerede ayrıştığı çoğu zaman en öğretici çıktıdır.

Kırmızı Bayraklar

Kimse verinizi açmadan tüm geliştirmeye verilen sabit fiyat. En yaygın ve en pahalı olanı bu. Ya rakam göremediklerini karşılamak için şişirilmiştir, ya ilk değişiklik talebinde yeniden pazarlık edilecektir, ya da tedarikçi doğruluğun incelemedikleri bir veriye bağlı olduğunu anlamamıştır. Sabit fiyat; keşif, ortamlar, dondurulmuş bir arayüze karşı yazılan entegrasyon bağlayıcıları, eğitim ve devir için uygundur. Belirsiz olan orta kısım için uygun değildir ve orada sabit fiyat veren bir tedarikçi ya tahmin yürütüyor ya da umut ediyordur. Teklifte sabit fiyatın hangi varsayımlara dayandığını yazılı isteyin; yazılamıyorsa fiyat sabit değildir.

Teklifte vaat edilen bir doğruluk yüzdesi. Rakamın nasıl türetildiğini, hangi külliyatta, hangi altın veri setine karşı ve kim tarafından ölçüldüğünü sorun. Kimsenin okumadığı belgelerde yüzde 95 doğruluk vaat etmenin dürüst bir yolu yoktur. Bununla ilgili olarak: teklifin hiçbir yerinde değerlendirme planı olmaması. Belge fazları, teknolojileri ve takvimi anlatıyor ama sistemin çalışıp çalışmadığını kimin nasıl bileceğini hiç söylemiyorsa, tedarikçi bir şey teslim edip ne hissettiğinize karar vermenizi bekliyor demektir. Değerlendirme planı olmayan bir teklif, kabul kriteri olmayan bir sözleşmeye dönüşür ve o sözleşme her zaman alıcının aleyhinedir.

Kullanılan modelleri adlandırmayı reddetmek ya da bariz biçimde ticari modeller üzerine kurulmuş bir orkestrasyon katmanına bizim özel yapay zekamız demek. Ticari model kullanmak tamamen normaldir ve çoğu zaman doğrudur. Bunu gizlemek normal değildir, çünkü ne kullanıldığını bilmeden maliyeti, gecikmeyi, veri işlemeyi ve sağlayıcı riskini değerlendiremezsiniz. Aynı aileden: zaman tahsisleriyle adı konmuş bir ekip olmaması, projenizde çalışmayacak kişilerin özgeçmişleri ve demonun sizin örnekleminiz yerine tedarikçinin kendi seçtiği veride koşulması. Model adının verilmemesi ayrıca fiyat karşılaştırmasını da imkânsız kılar, çünkü çıkarım maliyetini kimse doğrulayamaz.

Puanlanmaya değer birkaç küçük bayrak daha. ERP entegrasyonu için sorunsuz kelimesinin kullanılması. Tarihleri olan ama kabul kriteri olmayan kilometre taşlarına bağlı ödeme planı. Ücretli keşfe isteksizlik ve hemen tam sözleşme imzalama baskısı. Alt işleyici listesinin olmaması. Ve neyi geliştirmeyeceklerini söylemekten kaçınmak; bu, satın al mı geliştir mi sorusuna dürüst cevap verip veremeyecekleriyle doğrudan ilgilidir. Hiçbir müşterisine hazır ürün alın dememiş bir tedarikçi ya olağanüstü şanslıdır ya da sorduğunuz soruyu cevaplamıyordur. Bu küçük bayraklardan üçü aynı teklifte bir aradaysa, o teklifi kısa listeden çıkarmak neredeyse her zaman doğru karardır.

Aynı Veri Setinde İki Tedarikçili Kıyas Testi Nasıl Yürütülür

Kısa listedeki iki tedarikçi de inandırıcı görünüyorsa teklif okumayı bırakın ve onları kendi verinizde karşı karşıya getirin. Kurallar, testin kendisinden daha önemli. İkisine de aynı sabit ücreti ödeyin: bedava kıyas testi en yetkin olanı değil en çaresiz olanı seçer ve ayrıca ikisi de doğru düzgün yatırım yapmaz. İkisine de aynı külliyat örneklemini verin; sonuçta çıkarı olan biri tarafından seçilmiş değil, sizin rastgele çektiğiniz üç bin ila on bin belge. İkisine de aynı üç ila dört haftayı verin. Ücreti eşit tutmak sonucu savunmanızı da kolaylaştırır; kaybeden taraf koşulların eşit olmadığını iddia edemez.

Puanlama setini saklayın. Kendi uzmanlarınızla 200 ila 300 gerçek soruluk bir altın veri seti kurun, bunların belki otuzunu örnek olarak paylaşın ve gerisini puanlama gününe kadar tutun. Aksi hâlde ölçtüğünüz şey, bilinen bir teste kimin daha çok ayar yaptığıdır; bu da tam olarak, görülmemiş ilk haftasında düşen sistemi üreten davranıştır. Dört şeyi ayrı ayrı puanlayın: erişim kalitesi, rubriğe karşı cevap kalitesi, gerçekçi prompt uzunluklarında tamamlanmış iş başına maliyet ve tanımlı bir eşzamanlılıkta p95 gecikme. Soruların en az üçte biri sistemin cevap vermemesi gereken sorulardan oluşsun; reddetme davranışı da ölçülmesi gereken bir yetenektir.

Mümkünse kör puanlayın. Çıktılardan marka izlerini temizleyin, konu uzmanlarınız hangi cevabı hangi sistemin ürettiğini bilmeden not versin ve eşleştirmeyi ancak puanlar kaydedildikten sonra açıklayın. Bu kulağa geldiğinden daha fazla iş çıkarır ve sonuçları insanların beklediğinden daha sık değiştirir; özellikle tedarikçilerden birinin arayüzü daha cilalı olduğunda. İkisinden de değerlendirme altyapısının kendisini teslimat kapsamında devretmesini isteyin ki hangi yöne karar verirseniz verin, kendi testinizin iki bağımsız uygulaması elinizde kalsın. Puanlamayı tek bir güne sıkıştırın; günlere yayılan puanlama, uzmanların kriterlerini farkında olmadan kaydırmasına yol açar.

Ekonomisi göründüğünden iyi. Bir kıyas testi tipik olarak tek bir keşiften biraz pahalı, yanlış seçim yapmaktan ise belirgin biçimde ucuzdur; üstelik kim kazanırsa kazansın elinizde puanlanmış bir altın veri seti, bir veri değerlendirmesi, iki altyapı ve ölçülmüş bir başlangıç değeri kalır. Kazananın sonuçlarını doğrudan pilotun çıkış kriterlerine yazın ki standart imzadan sonra sessizce düşmesin; kullanılacak kapı yapay zeka pilotları neden canlıya çıkamıyor yazımızda anlatılıyor. Kıyas testinin bütçesini ayrı bir kalem olarak açın; geliştirme bütçesinin içinden karşılandığında ilk kesilen şey o olur.

Kısa Liste İçin Ağırlıklı Puan Kartı

Kısa listedeki her tedarikçiyi altı kriterde 0 ile 5 arasında puanlayın ve ağırlıklandırın. Canlı deneyim kanıtı, ağırlık 25: gerçek bir değerlendirme altyapısı ve olay kılavuzu gösterdiler ve tarihi olan somut bir geri alma hikâyesi anlattılar. Sahiplik ve veri şartları, ağırlık 20: kod, ağırlıklar, promptlar, altın veri seti, embeddingler ve türetilmiş veriler sözleşmeyle sizin; alt işleyici listesi ve silme son tarihi var. Değerlendirme pratiği, ağırlık 20: değerlendirme tekliflerinde sonda gelen test adlı bir faz olarak değil, yöntemi belli bütçelenmiş bir kalem olarak geçiyor. Puanlamayı tek kişi değil en az üç kişi ayrı ayrı yapsın; ortalama değil dağılım bilgilendiricidir.

Ekip sürekliliği, ağırlık 15: adı konmuş kişiler, belirtilmiş zaman tahsisleri ve biri ayrıldığında ne olacağına dair inandırıcı bir cevap. Alan ve dil uyumu, ağırlık 10: Türkçe biçimbilimiyle, karışık Türkçe-İngilizce külliyatlarla ve taranmış Türkçe belgelerle çalışmışlar ve belge türlerinizi önce genel örneklere çevirmeden konuşabiliyorlar. Ticari yapı, ağırlık 10: ücretli keşif mümkün, sabit fiyat yalnızca bilinebilir kalemlerde ve kilometre taşı ödemeleri yazılı kabul kriterlerine bağlı. Çarpın, toplayın, 100 üzerinden sonuç için 5'e bölün. Dil uyumunu somut test edin: kendi belgelerinizden beş sayfayı verip ne çıkardıklarını görün.

Sonucu iki kuralla okuyun. Birincisi, canlı deneyim kanıtı ile sahiplik şartları toplamın 45 puanını boşuna oluşturmuyor; ikisinde de düşük puan alan bir tedarikçi, toplam ne derse desin kısa listede olmamalı. İkincisi, puanlamayı fiyatı görmeden yapın, fiyata sonra ayrıca bakın; aksi hâlde en ucuz teklif diğer bütün yargıları sessizce büker. İki tedarikçi birbirine on puan içinde yaklaşıyorsa tartışmak yerine kıyas testini koşun. Ve ne karar verirseniz verin, sonucun sonradan nasıl ölçüleceğini yapay zeka yatırım getirisini ölçmek yazımızdaki yaklaşımla baştan kararlaştırın. Puan kartını da dosyalayın; iki yıl sonra tedarikçiyi değiştirme kararını aynı kart üzerinden verirsiniz.

Aracı Kendimize Çevirmek

Bunu yayımlayıp cevaplamamak dürüst olmazdı. HatsonTech küçük bir mühendislik şirketidir. Önümüzdeki ay otuz mühendise ihtiyacınız varsa tedarikçiniz biz değiliz ve bizi kısa listeye almamalısınız. Canlı deneyim kanıtımız ağırlıklı olarak kendi ürünlerimizdir: uzun hukuki ve sözleşmesel belgeler üzerinde çalışan caseon.ai ve DiligenceAI, operasyonel ortamlarda SYDhub ve VinçTakip, ayrıca müşteri işleri. Kullandığımız modelleri, ticari olanlar dahil, adıyla söyleriz; çünkü bunu gizlemek maliyeti ve sağlayıcı riskini doğru değerlendirmenizi engeller. Ekip büyüklüğümüzü bir avantaj gibi sunmuyoruz; bazı işler için gerçekten dezavantajdır ve bunu baştan söylemek herkese daha ucuza geliyor.

Şartlar tarafında varsayılanımız, işin birinci günden itibaren sizin kod deponuzda ve sizin ortamınızda yaşamasıdır. Kod, promptlar, değerlendirme setleri, altyapı tanımları ve verinizle eğitilmiş adaptörler sizindir; altın veri seti de sonda değil her kilometre taşında açık formatta sizindir. Ücretli bir keşif yapmadan tam geliştirme fiyatı vermeyiz ve keşif çıktıları bizimle devam etseniz de etmeseniz de size aittir. Dürüst cevabın hazır bir ürün almak olduğu durumda bunu da söyleriz. Sabit fiyatı yalnızca keşif, ortam kurulumu, entegrasyon bağlayıcıları ve devir için veririz; belirsiz orta kısmı tavanlı kilometre taşlarıyla yürütürüz.

En rahatsız olduğumuz soru süreklilik sorusu ve dürüst cevap şu: küçük bir ekip buna büyük bir ekipten daha açıktır. Bunu dokümantasyonla, herkesin koşabildiği bir değerlendirme altyapısıyla, kod olarak altyapıyla ve tek sahipli bileşen bulundurmama kuralıyla yönetiyoruz; bunu ikinci yılda keşfetmeniz yerine baştan sormanızı tercih ederiz. Ülke genelindeki müşterilerle Türkiye geneli mühendislik ekibimiz üzerinden çalışıyoruz ve satın alma süreci başlamadan önce daha geniş stratejik bağlamı istiyorsanız işletmeler için yapay zeka yazımıza bakabilirsiniz. Bu araca vereceğimiz cevapların yazılı olmasını isterseniz, teklif öncesinde gönderiyoruz.