LLM eğitimi nedir, fine-tuning ne zaman gerekir?
LLM eğitimi, büyük bir dil modelinin belirli bir alana, dile ya da göreve daha iyi uyması için ek veriyle eğitilmesidir. Pratikte kurumların ihtiyacı bir modeli sıfırdan eğitmek değil, hazır bir temel modele ince ayar (fine-tuning) yapmaktır: model, sizin örneklerinizden belirli bir biçimi, terminolojiyi veya karar kuralını öğrenir. Sıfırdan ön eğitim çok büyük veri ve hesaplama gerektirir; kurum projelerinde nadiren doğru seçimdir.
İnce ayar her sorunun cevabı da değildir. Bilgi güncel kalmalı ve kaynak gösterilmeliyse RAG daha uygundur; çoğu zaman iyi tasarlanmış bir istem ve örneklerle başlamak yeterlidir. Bu yüzden çalışmaya bir temel model ve gerçek görevi temsil eden bir test kümesiyle başlıyor, model eğitimine ancak daha basit yollar yetersiz kaldığında geçiyoruz. Hatson Tech olarak Ankara'dan, Türkiye genelindeki kurumlar için Türkçe görevlere uyarlanmış dil modeli çözümleri geliştiriyoruz.
Hangi yöntem ne zaman uygun?
| Yöntem | Ne zaman uygun? | Dikkat |
|---|---|---|
| İstem tasarımı ve örnekler | Görev net, model zaten yakın sonuç veriyor | Uzun istemler maliyeti ve gecikmeyi artırır |
| RAG | Bilgi değişiyor, kaynak gösterilmeli | Kalite arama ve veri hazırlığına bağlıdır |
| İnce ayar (LoRA) | Biçim, ton, sınıflandırma veya alan dili tutarlı olmalı | Kaliteli etiketli örnek ve değerlendirme seti ister |
| Tam ince ayar | Görev çok özel, büyük veri ve donanım var | Maliyet ve bakım yükü yüksektir |
| Küçük model eğitimi | Dar görev, düşük gecikme, cihazda veya kurum içinde çalışma | Genel bilgi ve akıl yürütme sınırlıdır |
| Sıfırdan ön eğitim | Neredeyse hiçbir kurum projesinde | Çok büyük veri ve hesaplama gerekir |
RAG ile ince ayar arasındaki farkı RAG mı fine-tuning mi yazımızda, ince ayarın maliyet tarafını ince ayar ekonomisi yazımızda ele alıyoruz.
LoRA ve QLoRA nedir?
LoRA (low-rank adaptation), modelin milyarlarca parametresini değiştirmek yerine onları dondurup araya çok daha az sayıda parametreden oluşan küçük "adaptör" katmanları ekleyen ince ayar yöntemidir. LoRA makalesi, bu yaklaşımın eğitilen parametre sayısını ve bellek ihtiyacını büyük ölçüde azalttığını gösterir. QLoRA ise temel modeli 4 bit hassasiyetle sıkıştırıp üzerine LoRA uygular; böylece büyük modellerin ince ayarı tek bir güçlü GPU'ya sığabilir. Kurumlar için pratik sonucu şudur: ince ayar artık büyük bir altyapı projesi olmak zorunda değildir ve aynı temel modelin üzerine farklı görevler için ayrı adaptörler eğitilebilir.
Fine-tuning nasıl yapılır?
- Görevi ve başarı ölçütünü tanımlayın: Girdi, beklenen çıktı, kabul edilebilir hata ve maliyetli hata örnekleri yazılı hale gelir.
- Değerlendirme setini ayırın: Gerçek kullanımı temsil eden, eğitimde hiç görülmeyecek bir test kümesi hazırlanır. Türkçe yazım ve çekim biçimleri, kısaltmalar ve karma terimler bu kümede yer almalıdır.
- Temel ölçümü yapın: Seçilen temel model istem ve örneklerle test edilir. Çoğu zaman bu adım ince ayara gerek olmadığını gösterir.
- Veriyi hazırlayın: Veri hakları ve kişisel veri kontrol edilir, tekrarlar ve çelişkili etiketler temizlenir (veri hazırlığı).
- Küçük bir deney çalıştırın: LoRA ile sınırlı veri ve kısa eğitimle bir aday model eğitilir; temel modelle aynı test kümesinde karşılaştırılır.
- Karar verin ve büyütün: Kazanç, maliyet ve gecikmeyle birlikte değerlendirilir; yeterliyse veri ve eğitim büyütülür.
- Dağıtın ve izleyin: Model sürümü, eğitim verisi ve değerlendirme sonucu kayıt altına alınır; veri veya temel model değiştiğinde testler yeniden çalıştırılır.
Örnek: destek taleplerini sınıflandırmak
Örneğin bir şirket, gelen destek taleplerini 12 kategoriye ayırmak istesin. Elinde etiketli 3.000 geçmiş talep var. Bunlardan 600'ü değerlendirme için ayrılır ve eğitimde hiç kullanılmaz. Genel bir modelle istem ve örneklerle yapılan temel ölçüm, test kümesinde yüzde 78 doğruluk verir; hataların çoğu birbirine yakın iki kategoride toplanır. Kalan 2.400 örnekle LoRA kullanılarak daha küçük bir model ince ayardan geçirilir ve aynı 600 talepte yüzde 91 doğruluğa ulaşır. Küçük model kurum içinde çalıştığı için talep verisi dışarı çıkmaz ve talep başına maliyet düşer.
Karar yalnızca doğruluk farkına bakılarak verilmez: kategoriler değiştiğinde modelin yeniden eğitilmesi gerekir ve bu bakım yükü hesaba katılır. Bu örnekteki sayılar varsayımsaldır; gerçek sonuç her veri kümesinde farklıdır ve ancak ölçülerek bilinir.
Türkçe LLM ve yerel LLM
Türkçe; ek yapısı, çekim biçimleri ve İngilizce terimlerle karışık kurumsal dili nedeniyle modelleri İngilizceye göre daha çok zorlar. Bir modelin genel kıyaslama puanı, sizin görevinizdeki Türkçe başarısını göstermez; bu yüzden modelleri kendi Türkçe test kümenizle karşılaştırıyoruz (Türkçe yapay zekâ ve NLP). Yerel LLM ise modelin bulut API'si yerine kurumun kendi sunucularında çalışmasıdır. Açık ağırlıklı modeller ve LoRA adaptörleriyle hem verinin kurum dışına çıkmaması hem de maliyetin öngörülebilir olması sağlanabilir. Seçenekleri açık kaynak ve kapalı modeller, küçük dil modelleri ve kurum içi yapay zekâ yazılarımızda karşılaştırıyoruz.
Değerlendirme ve kalite
İnce ayarlı bir model, ancak değerlendirme seti kadar güvenilirdir. Sonuçları yalnızca toplam doğrulukla değil, kategori bazında, maliyetli hata türlerine göre ve temel modelle yan yana raporluyoruz. Model ya da veri değiştiğinde aynı testler tekrar çalışır; gerileme varsa yeni sürüm yayına alınmaz. Yaklaşımımızı yapay zekâ değerlendirme yazımızda anlatıyoruz.
Veri hakları, güvenlik ve KVKK
Bir modele öğretilen bilgi sonradan kolayca silinemez. Bu yüzden eğitim verisinde kişisel veri varsa maskeleme veya çıkarma, eğitimden önce yapılır; verinin hangi amaçla ve hangi hukuki dayanakla kullanılacağı baştan belirlenir. Eğitim ve çalıştırma kurum içinde, özel bulutta ya da bulutta yapılabilir; seçim maliyeti, gecikmeyi ve KVKK kapsamındaki aktarım kurallarını etkiler.
Maliyeti ve süreyi ne belirler?
- Görevin netliği ve değerlendirme setinin hazır olup olmadığı.
- Etiketli veri miktarı, kalitesi ve etiketleme ihtiyacı.
- Temel modelin boyutu ve eğitim yöntemi (LoRA, QLoRA, tam ince ayar).
- Barındırma: bulut API'si, özel bulut veya kurum içi GPU.
- Gecikme ve eşzamanlı kullanım beklentisi.
- Modelin ne sıklıkla yeniden eğitilmesi gerekeceği.
Kapsam görüşmesine ne getirmeli?
Net bir görev, örnek girdiler ve beklenen çıktılar, bilinen hata örnekleri, tahmini hacim, veri hassasiyeti ve barındırma kısıtları başlangıç için yeterlidir. Model eğitimi kararı, temel ölçüm ve veri incelemesinden sonra verilir.