Gerçek Bir Kurulumda “Küçük” Ne Demektir?

Küçük dil modeli, belirli bir görev ve çalışma ortamında daha büyük bir alternatife göre daha az kaynak kullanır. Her yerde geçerli bir parametre sınırı yoktur. Sunucuya sığan model telefona sığmayabilir; parametre sayısı tek başına bellek kullanımını, hızı veya doğruluğu göstermez. Kuantizasyon, bağlam uzunluğu, donanım ve çıktı görevi de önemlidir. Google'ın Gemma 3n açıklaması, cihaz odaklı bir modelin seçici etkinleştirme ve önbellekle belleği nasıl yönettiğini gösterir; etkin parametre etiketi her kurulumda belleğe yüklenen toplam parametreyle aynı değildir.

Örnek: Gelen Destek Taleplerini Sınıflandırmak

Bir uygulamanın müşteri mesajlarını “fatura”, “teknik” ve “diğer” olarak ayırdığını düşünün. Yaygın mesajları sınıflandırıp kesin bir kategori döndürmek için küçük bir model yeterli olabilir. Birden fazla konu veya hassas bilgi içeren belirsiz mesajlar daha güçlü modele ya da insana aktarılmalıdır. Bu, varsayımsal tasarım örneğidir; mevcut bir Hatson Tech uygulamasını anlatmaz.

Kullanma izniniz olan mesajlardan etiketli test kümesi hazırlayın. Türkçe yazım değişiklikleri, kısa ve uzun mesajlar, belirsiz örnekler ve karıştırılması pahalı kategoriler bulunsun. Küçük modeli daha büyük model ve basit kural tabanıyla karşılaştırın. Kategori bazında kesinlik ve duyarlılığı, aktarma oranını, gerçek donanımda p95 yanıt süresini, bellek kullanımını ve bin istek başına maliyeti ölçün. Model ancak gerekli kalite ve işletim sınırlarını karşılıyorsa “yeterince küçük”tür.

Gizlilik ve Cihaz Üzerinde Çalıştırma

Cihazda veya özel sunucuda çalıştırma, ham veriyi üçüncü taraf API'ye gönderme ihtiyacını azaltabilir. Ürünü otomatik olarak gizli yapmaz. Telemetri, günlükler, güncellemeler, yedekler ve getirilen belgeler veriyi yine dışarı taşıyabilir. Veri akışının tamamını, model lisansını, güncelleme sürecini ve erişim denetimlerini inceleyin; yapay zekâ veri gizliliği yazımız bu sınırları ele alır. Çevrimdışı çalışma da yalnızca küçük model seçmeye değil, gerekli bileşenlerin yerel paketlenmesine bağlıdır. Küçük bir modeli telefon uygulamasının içine koymak boyut, pil ve güncelleme açısından kendi kısıtlarını getirir; bunları mobil uygulama geliştirme sayfamızda ele alıyoruz.

Küçük ve Büyük Model Arasında Seçim

Kabul eşiğini karşılayan en basit sistemle başlayın. Sınıflandırma ve bilgi çıkarma küçük modeller için uygun olabilir; ancak karmaşık akıl yürütme otomatik olarak büyük model gerektirmez ve küçük model uygunsuz donanımda otomatik olarak hızlı değildir. Bir yönlendirme düzeni önce düşük maliyetli modeli deneyip düşük güvenli veya yüksek riskli örnekleri üst basamağa taşıyabilir. Anthropic'in ajan iş akışı rehberi kolay istekleri ekonomik, zor istekleri daha güçlü modele yönlendirmeyi anlatır. Eşik ve tasarruf iddiası kendi iş yükünüzde ölçülmelidir.

Kaynaklar