Bu, Hangisini Seçmeli Sorusu Değil

Hangi yaklaşımın seçileceğini RAG mi ince ayar mı yazısında ele almıştık. O yazı bir mimari sorusunu cevaplıyor: bilgi modelin ağırlıklarında mı dursun, yoksa modelin dışındaki bir indekste mi? İyi bir sorudur ve cevabı da epeydir istikrarlı. Bu yazı ise onun ardından gelen ve çok daha az sorulan soruyu cevaplıyor; genellikle bütçeyi imzalayan kişi soruyor: ince ayar (fine-tuning) gerçekte ne kadara mal oluyor ve hangi noktada kendini amorti ediyor? Bunlar farklı cevapları olan farklı sorulardır ve bir proje birinci testi geçip ikincisinde ağır biçimde kalabilir. Bu ayrımı yapmadan verilen kararlar teknik olarak doğru ama ticari olarak yanlış çıkar.

Ekiplerin bu konuda en sık yaptığı hata, ince ayarı bir yetenek kararı olarak değerlendirmektir. Biri bir deney yapar, ince ayarlı model örneklem üzerinde daha iyi sonuç verir ve karar verilmiş sayılır. O deneyin ölçmediği şeyler ise şunlardır: üretim kalitesinde bir veri setinin arkasındaki etiketleme emeği, gerilemeleri yakalayacak değerlendirme düzeneği, her model tabanı değişikliğinin ardından gelen yeniden eğitim ve artık işletmesi size ait olan bir modelin servis edilmesi. Deney, işe yarayıp yaramadığını ölçtü. Bütçe sorusu ise iki yıl boyunca kabul edilebilir bir maliyetle çalışmayı sürdürüp sürdürmeyeceğidir. Deneyin cevapladığı soru ile bütçenin sorduğu soru aynı soru değildir.

İşe yarayan çerçeve şudur: ince ayar tek seferlik bir satın alma değildir; daha düşük birim maliyet ve daha sıkı davranış kontrolü karşılığında girdiğiniz sürekli bir bakım yükümlülüğüdür. Bu takas bazı koşullarda mükemmel, bazılarındaysa felakettir ve koşullar neredeyse tamamen istek hacmi ile görevin darlığı hakkındadır. Yazının geri kalanı maliyet yığınını, tekniklerin birbirinden çok farklı profillerini, başa baş aritmetiğini ve herhangi birine tavsiye etmeden önce uyguladığımız karar kuralını sırayla işliyor. Aşağıdaki bölümlerde her kalemi ayrı ayrı fiyatlandırıyoruz, çünkü toplam rakam üzerinden tartışmak bu konuda neredeyse her zaman yanıltıcı oluyor. Hesabı kendi sayılarınızla koşturabilmeniz için formülü de veriyoruz.

İnce Ayarın Gerçekten Satın Aldığı Dört Şey

Birincisi biçim ve üslup tutarlılığıdır. Prompt ile bir modele istediğiniz çıktı biçimini çoğu zaman ürettirebilirsiniz ve deneyimimizde karmaşık bir yapılandırılmış biçimde artakalan hata oranı, dikkatli prompt çalışmasından sonra bile yüzde birler seviyesinde kalır. İnce ayar bu oranı daha da aşağı çeker ve en az onun kadar önemlisi, her çağrıda yeniden gönderdiğiniz birkaç yüz tokenlık biçim talimatını ortadan kaldırır. Çıktı, bozuk girdide kırılan bir alt sisteme gidiyorsa, yüzde 3'lük bozukluk oranı ile yüzde 0,3'lük oran arasındaki fark, elle inceleme kuyruğu ile hiç kuyruk olmaması arasındaki farktır. Bu fark, yüksek hacimli bir hatta doğrudan operasyon maliyetine yansır.

İkincisi alan sözcük dağarcığı ve dil kaydıdır. Jargon, varlık adlandırma gelenekleri, kısaltmalar ve bir mesleki alanın kendine özgü sesi, genel bir modelin dengesiz biçimde ele aldığı şeylerdir. Bu, Türkçede özellikle güçlü bir gerekçedir: hukuk, sigorta, tıp ve ağır sanayi kayıtlarının her birinin, genel amaçlı modellerin yeniden üretmek yerine yaklaşık olarak taklit ettiği gelenekleri vardır ve bu boşluk Türkçede İngilizcedekinden geniştir, çünkü genel eğitim verisinde bu kayıttan çok daha azı bulunur. Birkaç bin alan içi örnekle yapılan ince ayar, hiçbir prompt talimatının güvenilir biçimde kapatamadığı bu boşluğu kapatır. Türkçe kurulumlarda ince ayarın en savunulabilir gerekçesi genellikle budur.

Üçüncüsü ticari olarak en önemli olanıdır: işi daha küçük bir modele taşımak. Dar bir görevde ince ayarlanmış küçük bir model, o görevde çok daha büyük bir genel modelin kalitesini yakalayabilir; hem istek başına maliyetin küçük bir kesriyle hem de belirgin biçimde düşük gecikmeyle. İnce ayarın bir kalite tekniği olmaktan çıkıp bir maliyet tekniğine dönüştüğü yer burasıdır ve bir model yönlendirme programının doğal varış noktasıdır: sürekli çağrılan ve tek bir dar iş yapan bir rota belirlediğiniz anda, aday o rotadır. Aynı zamanda genel olarak küçük dil modelleri için de temel argümandır.

Dördüncüsü promptun ulaşamadığı davranıştır. Tutarlı reddetme sınırları, belirli bir akıl yürütme biçimi, sözle tarif edilemeyecek kadar girift bir çıktı geleneği ya da inceleyenlerin tanıdığı ama tanımlayamadığı bir kurum üslubu. Bir de sessiz bir dört buçukuncu madde var: uzun bir sistem promptunu ağırlıklarla değiştirmek. Her çağrıda üç bin tokenlık bir sistem promptu taşıyorsanız, o davranışı modele kodlamak bu girdi tokenlarını kalıcı olarak ortadan kaldırır; yüksek hacimli bir iş yükünde bu, model boyutundan bağımsız olarak başlı başına bir tasarruftur. Bu kalemi hesaba katmayan karşılaştırmalar, ince ayarın getirisini sistematik olarak olduğundan düşük gösterir.

Satın Almadığı Tek Şey: Güncel Bilgi

Eğitim bir anlık görüntüyü sabitler. Bu çeyreğin fiyatlandırması, politikaları, ürün katalogu veya mevzuatı üzerine ince ayarlanmış bir model, dağıtımda kaldığı sürece bunların bu çeyrekteki hâlini kendinden emin biçimde söyleyecektir; değiştikten sonra da söyleyecektir. Ağırlıkların içinde son kullanma tarihi diye bir mekanizma yoktur. Kapsam görüşmelerinde en sık karşılaştığımız yanlış anlama budur ve genellikle ince ayarın modele şirketin bilgisini öğreteceği umuduyla dile getirilir. İnce ayar modele şirketin dilini öğretir. Modeli güncel tutmaz. Modele öğrettiğiniz şey bilginin kendisi değil, o bilgiyi ifade etme biçimidir ve ikisini karıştırmak projeyi yanlış temele oturtur. Bu ayrım kapsam toplantısının ilk on dakikasında netleşmelidir.

Bilgiyi yeniden eğiterek güncellemek, bugüne kadar tasarlanmış en pahalı veritabanı güncellemesidir. Her değişiklik yeni bir veri seti revizyonu, bir eğitim koşusu, bir değerlendirme turu ve bir dağıtım gerektirir; yani bir retrieval sisteminin saniyeler içinde güncellediği bilgi için günlerle haftalarla ölçülen bir çevrim süresi. Dolayısıyla ayrım nettir ve bir kural olarak söylemeye değer: bilgi retrieval'a, davranış ağırlıklara aittir. Böyle okunduğunda retrieval ile ince ayar rakip seçenekler bile değildir. Aynı problemin farklı yarılarını çözen tamamlayıcılardır ve olgun sistemlerin çoğu ikisini birden kullanır. Bu yüzden ince ayarı retrieval'ın alternatifi olarak değil, tamamlayıcısı olarak bütçeleyin.

İnce ayarın satın almadığı ikinci bir şey daha var ve insanları daha sessizce hayal kırıklığına uğratıyor. Model tabanında olmayan yeteneği yaratmaz. İnce ayar, modelin zaten üretebildiği davranışı biçimlendirir ve güvenilir biçimde ortaya çıkarır; yeni bir akıl yürütme yeteneği kurmaz. Teşhis basittir: model tabanı, kusursuz bağlam ve özenle yazılmış bir prompt verildiğinde bile görevi yapamıyorsa ve bunu uymamak gibi değil anlamamak gibi görünen bir biçimde yapamıyorsa, beş bin örneklik bir veri seti onu kurtarmayacaktır. Bunun yerine daha güçlü bir model tabanı seçin ya da görevin doğru kurulup kurulmadığını yeniden düşünün. Bu teşhisi yapmak birkaç saat sürer ve haftalarca sürecek bir yanlış yatırımı önler.

Maliyet Yığını: Baskın Kalem GPU Değil, Veri Seti

Naif maliyet modeli şudur: biraz GPU kiralarsınız, bir iş koşturursunuz ve bir model alırsınız. GPU süresi gerçek bir kalemdir ama yürüttüğümüz projelerde sıklıkla bütçenin en küçük satırıdır; adaptör tabanlı eğitimde ise neredeyse önemsiz hâle gelebilir. Baskın maliyet veri seti üretimidir ve deneyimimizde ilk ince ayar projesindeki toplam eforun yarısı ile üçte ikisi arasında bir paya karşılık gelir. Herkesin odaklandığı eğitim koşusu dahil geri kalan her şey, o tek sayının etrafındaki yardımcı kadrodur. Ekiplerin bütçe konuşmasına GPU fiyatlarıyla başlaması, konuşmayı en baştan yanlış yere oturtur. Doğru başlangıç noktası ise etiketleme kapasitesi ve uzman erişimidir.

Bu maliyeti bileşenlerine ayırdığınızda somutlaşır. Ham malzemenin toplanması ve çıkarılması. Temizleme, tekilleştirme ve modele hiçbir şey öğretmeyecek neredeyse aynı örneklerin ayıklanması. Eğitim şemasına biçimlendirme. Birbirine sızmayan eğitim, doğrulama ve test kümelerine ayırma. Ve hepsinden önemlisi etiketleme: gerçekten yüksek kaliteli örnek üreten bir alan uzmanı, görev karmaşıklığına göre günde belki 20 ila 60 örnek çıkarır; yani mütevazı 3.000 örneklik bir veri seti 50 ila 150 uzman günü demektir. Asıl fatura budur ve kurumdaki en pahalı insanların zamanıyla ödenir. Bu sayıyı bilmeden verilen her ince ayar taahhüdü, aslında bilinmeyen bir tutara imza atmaktır.

Sentetik üretim bunu azaltır ama ortadan kaldırmaz. Güçlü bir modele taslak örnekler ürettirip uzmanlara düzelttirmek verimi kayda değer biçimde yükseltebilir ve bugün standart yaklaşım budur. Ancak insan tarafından doğrulanmış değerlendirme verisine hâlâ ihtiyacınız vardır; bu veri sentetik olursa döngüsel hâle gelir. Ayrıca sentetik eğitim verisi, üreten modelin taşıdığı önyargıları ve kör noktaları sadakatle yeniden üretir. Özellikle değerlendirme seti ayrı ve isteğe bağlı olmayan bir maliyettir: onsuz ince ayarın işe yarayıp yaramadığını size söyleyebilecek hiçbir ölçüm aracınız olmaz. Bu, herhangi bir yapay zeka projesinin başarısını belirleyen veri hazırlığı çalışmasının aynısıdır. Değerlendirme setini veri setinden önce kurmak, bu yüzden pratikte en verimli sıradır.

Bir de yürüyen bant var. Model tabanları iyileşir, kullanımdan kalkar veya lisans koşulları değişir ve bu olayların her biri işinizin bir kısmını yeniden masaya koyar. Yılda iki ila dört yeniden eğitim döngüsünü istisna değil, sabit bir kalem olarak bütçeleyin. Son olarak servis: bir API modeli başkasının operasyonel problemidir, özel bir model ise sizin. Kurum içi barındırma, GPU kapasitesini ortalamaya değil tepe talebe göre ayırmak demektir ve boşta geçen her saat, istek başına sayılardan kurulmuş hiçbir karşılaştırmada görünmeyen saf israftır. Bu iki kalem ilk yılın toplam maliyetinin küçümsenmeyecek bir kısmını oluşturur ve teklif aşamasında sıklıkla atlanır.

Tam İnce Ayar, LoRA ve Damıtma (distillation) Farklı Ekonomilerdir

Tam ince ayar modeldeki her ağırlığı günceller. En yüksek işlem gücü ve bellek gereksinimine sahiptir, eğittiğiniz her sürüm için eksiksiz bir model çıktısı üretir ve depolama ile servis ayak izinizi sakladığınız varyant sayısıyla çarpar. Daha hafif yöntemlerin zorlandığı davranışlara ulaşabilir ve gerçekten büyük ölçekli ya da araştırma amaçlı işler için hâlâ doğru araçtır. Ticari projelerin ezici çoğunluğu için değildir ve varsayılan olarak bunu seçmek bu alandaki daha pahalı hatalardan biridir. Bu yüzden tam ince ayarı seçmeden önce hafif yöntemlerin gerçekten yetersiz kaldığını ölçümle göstermek gerekir; çoğu vakada gösterilemez. Varsayılanı hafif yöntem yapın.

Pratikteki varsayılan, parametre açısından verimli yöntemlerdir. LoRA ve nicelenmiş varyantı QLoRA, model tabanının ağırlıkları donmuş hâldeyken küçük bir adaptör parametre kümesini eğitir; bu, işlem gücü gereksinimini çarpıcı biçimde düşürür ve gigabaytlarla değil megabaytlarla ölçülen adaptörler üretir. Servis tarafındaki sonuç, eğitim tarafındakinden daha önemlidir: tek bir model tabanına karşı çok sayıda adaptör barındırıp istek bazında geçiş yapabilirsiniz, bu da özel modellerden oluşan bir filoyu tek bir model artı bir dizi küçük dosyaya dönüştürür. Araç ekosistemi olgundur; Hugging Face PEFT, Axolotl ve Unsloth yaygın kullanımdadır. Bu tek özellik, çok sayıda müşteriye özel model işletmenin ekonomisini tümüyle değiştirir.

Damıtma maliyet profilini tersine çevirir. Büyük ve yetkin bir modeli kullanarak kayda değer hacimde eğitim verisi üretir, ardından küçük bir modeli o dar görevde bu davranışı yeniden üretmesi için eğitirsiniz. Veri üretim maliyeti yüksektir, çünkü binlerce örnek üretmesi için pahalı modele para ödersiniz; ancak ortaya çıkan servis maliyeti üç yaklaşımın açık ara en düşüğüdür. Tek bir duruma uyar ve ona çok iyi uyar: büyük bir modelin dar ve yüksek hacimli bir işi yaptığı, kaliteyi korumak ama faturayı bırakmak istediğiniz durum. DPO gibi tercih temelli yöntemler ise, istenen davranışı yazmaktan çok sıralamanın kolay olduğu yerlerde denetimli ince ayarın üzerine eklenir.

Başa Baş Noktası Hacmin Fonksiyonudur

Aritmetiğin üç girdisi var. Tek seferlik maliyet: veri seti üretimi artı eğitim artı değerlendirme düzeneğinin kurulması. Sürekli maliyet: yeniden eğitim, servis, izleme ve sahiplik yükü. Ve istek başına tasarruf: o adımın bugünkü maliyeti ile ince ayarlı modeldeki maliyeti arasındaki fark. Ay cinsinden başa baş noktası, tek seferlik maliyetin, aylık hacim çarpı istek başına tasarruf eksi aylık sürekli maliyet ifadesine bölünmesidir. Karmaşık bir aritmetik değil ve şaşırtıcı olan, başlamadan önce bunu yapan ekiplerin ne kadar az olduğu. Formülü bir tabloya kurmak yarım saat sürer ve kararı fikir tartışması olmaktan çıkarır. Bu yarım saat, projenin en yüksek getirili işidir.

Bu formülün en önemli özelliği paydanın negatif olabilmesidir. Aylık sürekli maliyet aylık tasarrufu aşıyorsa proje ne kadar uzun çalıştırılırsa çalıştırılsın asla kendini ödemez. Bu bir uç durum değildir; düşük hacimli uygulamalarda normal sonuçtur, çünkü bir modele sahip olmanın sürekli maliyetleri büyük ölçüde sabitken tasarruflar hacimle ölçeklenir. Ekiplerin taahhüde girmeden önce bu koşulu aktif olarak test etmesi gerekir ve deneyimimizde çoğu, biri modelin neden hâlâ kendini ödemediğini sorana kadar bu hesabı hiç yapmaz. Bu testi baştan yapmak, altı ay sonra sonucu savunmak zorunda kalmaktan çok daha ucuzdur ve yalnızca birkaç girdi gerektirir.

Hangi tarafa düşeceğinizi iki değişken belirler. Bariz olanı hacimdir: tek bir görevde yüksek hacim ince ayarın kazandırdığı yerdir, geniş bir görevde düşük hacim ise hiç kazandırmadığı yer. Darlık en az onun kadar önemlidir ve çok daha sık gözden kaçar. Dar bir görev daha küçük bir veri seti ister, tanımı sabit kalır ve veri neredeyse değişmediği için ucuza yeniden eğitilir. Geniş bir görev büyük bir veri seti ister, paydaşlar yeni vakalar keşfettikçe tanımı kaymaya devam eder ve yeniden eğitimi süregiden bir projeye dönüştürür. Kendi kapsam çalışmalarımızdan pratik bir eşik olarak, tek ve iyi tanımlanmış bir görevde ayda kabaca 100.000 isteğin altında maliyet gerekçesi kendi başına nadiren kapanır.

Örnek Bir Amortisman Hesabı

Aşağıdaki tamamen temsilî bir modeldir; varsayımsal rakamlarla kurulmuştur, bir teklif ya da bir ölçüm değildir. Amacı hesabın biçimini göstermek, böylece kendi sayılarınızla koşturabilmenizdir. Orta ölçekli bir Türk şirketinde, hâlihazırda büyük ve genel amaçlı bir API modeliyle çalışan, ayda 500.000 istek gören bir belge sınıflandırma ve alan çıkarma görevini ele alalım. Görev dardır, kategoriler istikrarlıdır ve yan ürün olarak etiketli örnek üreten mevcut bir manuel süreç vardır; bu ideal başlangıç konumudur ve insanların sandığından daha nadirdir. Kendi rakamlarınızı yerine koyduğunuzda sonuç değişecektir; değişmeyecek olan hesabın yapısıdır. Önemli olan da zaten yapıdır.

Tek seferlik maliyet. Uzman günü başına kabaca 40 kullanılabilir etiketle 3.000 örneklik bir veri seti yaklaşık 75 uzman günü eder; sentetik taslak üretimi artı uzman düzeltmesi bu görevde iyi çalışıyorsa belki 45 güne iner. Veri hattı, eğitim koşuları ve dağıtım için 10 ila 15 mühendis günü, değerlendirme ve regresyon paketi için 8 ila 12 gün ekleyin. Toplamı 70 ila 100 insan günü olarak alalım. Diyelim ki karma ekip için ortalama gün maliyeti 10.000 TL; bu, tek seferlik maliyeti kabaca 700 bin ila 1 milyon TL bandına oturtur. Bu boyutta bir görevde LoRA eğitiminin GPU faturası, toplamı anlamlı biçimde değiştirmeyecek kadar küçüktür.

Sürekli maliyet ve tasarruf. Yılda iki yeniden eğitim döngüsü, her biri 5 ila 10 insan günü, artı servis ve izleme yükü varsayalım. İnce ayarlı küçük modelin bu adımı mevcut istek başına maliyetin beşte biri ile on beşte biri arasında bir bedelle yaptığını varsayalım; büyük bir genel modelden küçük ve göreve özel bir modele geçerken gerçekçi bir banttır. Bu adım için mevcut aylık harcamanız 150.000 TL ise tasarruf ayda kabaca 140.000 ila 120.000 TL olur ve 700 bin ila 1 milyon TL'lik yatırım yaklaşık üç ila sekiz ayda geri döner. Sonrası marjdır.

Şimdi tek bir girdiyi değiştirin. Diğer her şeyi aynı tutup hacmi ayda 20.000 isteğe düşürün. Tek seferlik maliyet değişmez, çünkü trafik küçüldüğünde veri seti küçülmez; ama aylık tasarruf yirmi beş kat azalır. Başa baş noktası hiçbir işletmenin kabul edeceği ufkun ötesine kayar ve sürekli maliyet pekâlâ tasarrufu tamamen aşabilir; o durumda proje süresiz olarak zarar eder. Herhangi bir teknik, model tabanı veya veri seti tasarımı tartışmasından önce ilk sorduğumuz sorunun hacim olmasının nedeni budur. Hacim sorusunu erken sormak, ekiplerin en sık atladığı ve en pahalıya mal olan adımdır. Diğer bütün tercihler bu sayıdan sonra anlam kazanır.

Teklifte Yazmayan Gizli Maliyetler

Birincisi değerlendirme regresyon paketidir ve kalıcıdır. İnce ayarlı bir modele sahip olduğunuz andan itibaren, her yeniden eğitimde, her model tabanı değişikliğinde ve her veri seti revizyonunda yeniden doğrulanması gereken bir kalite temel çizgisine de sahip olursunuz. Onsuz daha iyi bir modeli farklı biçimde bozulmuş bir modelden ayırt edemezsiniz ve kalite kayması kullanıcılar şikâyet edene kadar görünmez kalır. Bu, yapay zeka gözlemlenebilirliği ve eval yazısında anlatılan ölçümlemenin aynısıdır ve bunu kurup sürdürmeye istekli değilseniz, bu tek başına ince ayara hayır demek için meşru bir gerekçedir. Bu paketi kurmadan yapılan ince ayar, hiçbir zaman ölçemeyeceğiniz bir yatırımdır.

İkincisi model yaşam döngüsü yönetimidir. Hangi adaptörün hangi veri seti revizyonuyla hangi model tabanına karşı eğitildiğini ve her sürümün nerede dağıtıldığını kaydeden bir kayıt defterine ihtiyacınız var. Dakikalar içinde önceki adaptöre ya da model tabanına geri dönebilme yeteneğine ihtiyacınız var; bu da model seçiminin uygulamaya dağılmış hâlde değil bir ağ geçidinde merkezileşmiş olmasını gerektirir. Bunu atlayan ekipler eksikliği bir olay anında keşfeder ki bu, keşfedilebilecek en pahalı andır. Kayıt defteri ve geri dönüş yeteneği, ince ayardan çok önce kurulması gereken altyapıdır ve maliyeti model bütçesine değil platform bütçesine yazılır. Bu ayrımı yapmak sonraki her modelin maliyetini de düşürür.

Üçüncüsü kontrol etmediğiniz bir model tabanına bağımlılıktır. Adaptörünüz tabanı olmadan değersizdir. Lisanslar değişir, barındırılan modeller sizin değil sağlayıcının takvimine göre kullanımdan kalkar ve koşullar ticari kullanımı veya türev model eğitimini kısıtlayabilir. Üzerine bina kurmadan önce lisansı okuyun ve açık kaynak ve kapalı modeller yazısında ele alınan takasları tartın; kopyasını saklayabildiğiniz açık ağırlıklı bir taban, bir gün ortadan kalkabilecek barındırılan bir tabandan belirgin biçimde farklı bir risk profilidir. Açık ağırlıklı bir tabanın kopyasını kendi altyapınızda saklamak bu riski büyük ölçüde ortadan kaldırır ve uzun vadeli planlamayı mümkün kılar. Bu tercih ilk günde yapılmalıdır.

Dördüncüsü veri yönetişimidir ve Türkiye'de yasal bir karşılığı vardır. Eğitim setiniz artık bir yerden gelmiş veriler içeriyor ve bunların herhangi biri kişisel veriyse 6698 sayılı Kanun devreye girer: hukuka uygunluk sebebi ve özel nitelikli veri için 5. ve 6. maddeler, aydınlatma yükümlülüğü için 10. madde ve veri güvenliği için 12. madde. Pratik zorluk şudur: bir kaydı veritabanından silmek önemsizken, o kaydın eğitilmiş ağırlıklar üzerindeki etkisini kaldırmak değildir. Bu yüzden hukuka uygunluk ve saklama pozisyonu eğitimden sonra değil, önce netleştirilmelidir. Bu nedenle hukuk ekibinin masaya veri seti tasarımı aşamasında oturması gerekir; sonradan katılması işi düzeltmez.

Karar Kuralı

Prompt artı retrieval ile başlayın. Her seferinde, istisnasız, kimin ince ayarın gerekli olduğundan ne kadar emin olduğuna bakmaksızın. Bu, kendi başına bir muhafazakârlık değildir; prompt artı retrieval temel çizgisi, geriye gerçekte hangi boşluğun kaldığını size söyleyebilecek tek şeydir ve boşluğu bilmeden onu kapatmanın değerini boyutlandıramazsınız. Ayrıca hızlıdır: kurulması günler süren bir temel çizgi, ihtiyacı rutin olarak tamamen ortadan kaldırır. Aynı mantık, uzun bağlam mı RAG mi yazısında bağlamı retrieval'a karşı tartarken de geçerlidir. Bu temel çizgi olmadan ince ayarın getirisini kimseye kanıtlayamazsınız, kendinize bile. Kurulması genellikle bir hafta sürer ve tüm kararın dayanağı olur.

Herhangi bir karar vermeden önce değerlendirme setini kurun. O sizin ölçüm aracınızdır ve termometreyi almadan tedaviyi satın almak, projelerin kendi değerlerini kanıtlayamaz hâle gelmesinin yoludur. Sonra ince ayarı yalnızca dört koşul bir arada sağlandığında yapın. Bir: değerlendirme seti, prompt ve retrieval ile kapanmayan belirli ve yeniden üretilebilir bir boşluk gösteriyor. İki: görev dar ve tanımı istikrarlı. Üç: hacim, başa baş noktasının işletmenin kabul edeceği bir ufka düşmesine yetecek kadar yüksek. Dört: yeniden eğitim döngüsünün adı konmuş bir sahibi var. Bu dört koşuldan biri bile eksikse beklemek doğru karardır ve beklemenin maliyeti, yanlış zamanda başlamanın maliyetinden düşüktür.

Sürekli tekrarladıkları için adını koymaya değer iki karşı desen var. Birincisi halüsinasyonu düzeltmek için ince ayar yapmaktır. Halüsinasyon bir dayanaklandırma problemidir ve daha fazla doğru cevap örneğiyle eğitmek, iddiaları kaynaklara karşı denetleyen bir mekanizma kurmaz; bunu retrieval, atıf doğrulama ve değerlendirme yapar. İkincisi, görev tanımı oturmadan ince ayar yapmaktır. Paydaşlar hâlâ yeni kategoriler ve uç durumlar keşfediyorsa iki ayda üç kez yeniden eğitirsiniz ve her yeniden eğitim ilkinin maliyetinin büyük kısmını yeniden ödetir. Tanımın kımıldamayı bırakmasını bekleyin, sonra bir kez kurun. Her iki karşı desen de aynı kök nedenden doğar: ölçüm yerine sezgiyle karar vermek.

İnce Ayara Yaklaşımımız

İnce ayar sattığımız hizmetlerden biri ve bir ince ayar talebi geldiğinde yaptığımız ilk şey müşteriyi bundan vazgeçirmeye çalışmak. Bu bir alçakgönüllülük değil, bir sıralama meselesi: problemi prompt, retrieval ve yönlendirmeyle çözmeye yönelik ciddi bir denemeden sağ çıkan talep, ince ayarın gerçekten kazandıracağı taleptir; sağ çıkmayan ise pahalı bir hayal kırıklığına dönüşecekti. Kapsamlandırdığımız ince ayar görüşmelerinin kayda değer bir kısmı, bunun yerine bir prompt yeniden yapılandırmasına, bir retrieval düzeltmesine veya bir yönlendirme değişikliğine çözülüyor ve o müşteriler bundan kârlı çıkıyor. Bu yaklaşım kısa vadede iş kaybettirir, uzun vadede ise doğru projeleri getirir.

İş gerçekten ilerlediğinde biçim tutarlıdır. Önce değerlendirme setini kurar ve ona karşı prompt artı retrieval temel çizgisini oluştururuz; böylece boşluk varsayılmaz, ölçülür. Eğitim neredeyse her vakada açık ağırlıklı bir taban üzerinde LoRA'dır; çünkü tek taban artı çok sayıda adaptörün servis ekonomisi, tam modellerden oluşan bir filoya kıyasla kıyaslanamayacak kadar iyidir ve açık ağırlıklı bir tabanın kopyasını saklamak yukarıda anlatılan bağımlılık riskini ortadan kaldırır. Regresyon paketi CI'ya sonradan değil ilk eğitim koşusuyla aynı anda girer ve yeniden eğitim, bir şeyi fark eden kişinin tetiklemesiyle değil üç aylık bir döngüde gözden geçirilir.

Gördüğümüz en net gerçek kazanımlar Türkçe alan dilindedir. Hukuki metin yazım gelenekleri, sigorta poliçesi dili, endüstriyel ve teknik dokümantasyon ve mevzuat yazışmalarının hepsinde, genel modellerin yeniden üretmek yerine yaklaşık olarak taklit ettiği kayıtlar vardır ve bu boşluk Türkçede İngilizcedekinden ölçülebilir biçimde geniştir. Değerlendirme setinin marjinal değil gerçek bir fark gösterdiği durum budur. caseon.ai ve DiligenceAI'da müşterilere önerdiğimiz ayrımın aynısı geçerlidir: dil ve çıktı gelenekleri modelde, bilgi ise retrieval'da yaşar; çünkü bilgi değişir, dil değişmez. Bu ayrım hem bakım maliyetini düşürür hem de bilginin güncellenmesini eğitimden bağımsız hâle getirir. İkisini karıştıran mimariler her güncellemede yeniden eğitim gerektirir.

Bu kararı tartıyorsanız, kimseyle konuşmadan önce yapabileceğiniz en faydalı şey, o belirli görev için aylık istek hacminizi yazmak ve tanımının gerçekten bitmiş olup olmadığı konusunda dürüst olmaktır. Bu iki sayı işin çoğunu belirler. büyük dil modeli eğitimi çalışmalarımız tam olarak bu ölçümle başlar ve yapay zeka projesi maliyeti yazısındaki daha geniş bütçeleme resmiyle birlikte okunmalıdır; çünkü hacim sayısı önünüzde olmadan verilen bir ince ayar kararı, umut üzerine verilmiş bir karardır. Bu iki sayıyı hazırlamadan yapılan görüşmeler genellikle teknik detayda kaybolup karar üretmeden biter. Hacmi ve tanımın oturmuşluğunu bilen bir ekiple konuşma yarım saatte sonuca varır.