Dil modelini kendi sunucunuzda çalıştırmak ne zaman mantıklıdır?
Verinin kurum ağından çıkmaması gerekiyorsa, kullanım donanımı meşgul tutacak kadar düzenli ve yüksekse ya da hangi model sürümünün yanıt verdiğini tamamen kendiniz belirlemek istiyorsanız, dil modelini kendi sunucunuzda çalıştırmak mantıklıdır. Kullanım düşük ya da düzensizse, zor görevler için en güçlü modellere ihtiyacınız varsa veya kurulumdan sonra sistemi işletecek kimse yoksa nadiren mantıklıdır. Bu bir ilke meselesi değil, hesap ve risk meselesidir: Barındırılan bir API kullandığınız kadar faturalanır; kendi GPU'larınız ise boşta da beklese, tam yükte de çalışsa aynı maliyeti üretir.
| Gösterge | Kendi sunucunuzu işaret eder | Barındırılan modeli işaret eder |
|---|---|---|
| Veri hassasiyeti | Kurum dışına çıkamayan kişisel, gizli veya mevzuata tabi veri | Kamuya açık ya da hassasiyeti düşük içerik |
| Kullanım deseni | Düzenli, öngörülebilir ve yüksek | Düşük, dalgalı ya da henüz bilinmiyor |
| Gereken kalite | Orta büyüklükte açık bir modelin iyi yaptığı dar ve net görevler | Çok adımlı zor akıl yürütme, çok uzun belgeler, geniş genel bilgi |
| Kontrol | Model sürümü sabit kalmalı; yalıtılmış ya da çevrimdışı ağ gerekiyor | Yeni modellere otomatik erişim bir avantaj |
| Ekip | GPU, çıkarım sunucusu ve izleme işletebilecek kişiler var | İşletim kapasitesi yok |
| Entegrasyon | Yalnızca kurum ağında bulunan sistemler | Zaten bulutta olan sistemler |
Birçok kurum sonunda karma bir yapıya varır: Kurum dışına çıkamayan talepler için kendi sunucusunda bir model, geri kalanı için barındırılan bir model. Emin değilseniz, önce hassas olmayan veriyle barındırılan bir model üzerinde gerçek kullanımı ölçün. Gözlemlediğiniz hacim, donanım boyutlandırması için herhangi bir tahminden çok daha sağlam bir dayanaktır.
Sunucunuzda tam olarak neler çalışmalı?
Çalışan bir kurulum, bir model dosyasından fazlasıdır. En az şu bileşenleri planlayın; her birinin bir sahibi olmalı ve her biri bütçede bir yerde görünmelidir:
- GPU sunucuları: Model ve eşzamanlı taleplerin çalışma belleği için yeterli belleğe sahip olmalı.
- Çıkarım sunucusu: Modeli yükleyip talepleri yanıtlayan yazılım; örneğin vLLM.
- API ağ geçidi: Kimlik doğrulama, istek sınırlama ve istek kaydı için.
- Uygulama katmanı: Belge arama (RAG) dizini, istem şablonları ve modelin çağırabileceği araçlar.
- İzleme ve değerlendirme: Gecikme, hata ve GPU kullanımı; ayrıca her değişiklikten sonra kaliteyi ölçen bir test kümesi.
- Depolama ve yedekleme: Model dosyaları, dizinler ve kayıtlar için.
Bir model ne kadar GPU belleğine ihtiyaç duyar?
GPU belleği iki şeyi taşımak zorundadır: modelin ağırlıklarını ve aynı anda işlenen her talebin çalışma belleğini. Ağırlıklar kabaca parametre sayısı ile parametre başına saklanan bayt sayısının çarpımı kadar yer tutar. Hugging Face'in Llama 3.1 tanıtım yazısı somut rakamlar verir: Yalnızca ağırlıkları yüklemek 8B model için FP16'da yaklaşık 16 GB, FP8'de 8 GB, INT4'te 4 GB; 70B model için 140 GB, 70 GB ve 35 GB; 405B model için 810 GB, 405 GB ve 203 GB yer tutar. Aynı sayfa, bu rakamların yalnızca model dosyasını yüklemeyi kapsadığını, çekirdekler ve CUDA grafikleri için ayrılan alanı içermediğini belirtir.
İkinci kısım olan anahtar-değer (KV) önbelleği, alıcıların en sık unuttuğu kalemdir. Her talebin dikkat durumunu tutar ve bağlam uzadıkça büyür. Aynı kaynağa göre 16.000 token'lık tek bir bağlam için FP16 KV önbelleği 8B modelde yaklaşık 1,95 GB, 70B modelde 4,88 GB'tır; 128.000 token'da bu değerler 15,62 GB ve 39,06 GB'a çıkar. Sayfa, küçük modelde bağlam üst sınıra yaklaştığında önbelleğin ağırlıklar kadar bellek kullanabileceğine dikkat çeker. Bunu aynı anda hizmet vermek istediğiniz talep sayısıyla çarptığınızda, çoğu zaman büyük rakam önbellek olur.
Şimdi bu rakamları kartlarla karşılaştırın. NVIDIA, H100 için SXM biçiminde 80 GB, H100 NVL PCIe kartı için 94 GB bellek belirtir; L40S ise 48 GB belleğe sahiptir. FP16'daki 70B model bu kartların hiçbirine tek başına sığmaz. FP8'de ağırlıklar tek bir 80 GB karta sığar ama önbelleğe çok az yer kalır; bu yüzden pratikte model birkaç GPU'ya dağıtılır. Çıkarım sunucuları bunu, tek bir modeli aynı sunucudaki kartlara bölen tensör paralelliği ile yapar.
Niceleme (quantization) olarak bilinen düşük hassasiyet belleği azaltır, ancak kaliteyi de düşürebilir. Bunu ölçülebilir bir ödünleşim olarak ele alın: Hangi sürüm için donanım alacağınıza karar vermeden önce nicelenmiş ve nicelenmemiş sürümleri aynı test kümesinde çalıştırın.
Boyutlandırma çalışma sayfası
Donanım teklifi istemeden önce bu sayfayı kendi değerlerinizle doldurun. Üçüncü sütun her değerin nereden geleceğini gösterir; boş kalan her satır, alacağınız teklifin başkasının varsayımına dayandığı anlamına gelir.
| Satır | Ne yazılacak? | Nereden gelir? |
|---|---|---|
| 1. Kullanım senaryoları ve kullanıcılar | Hangi görevler, kaç kullanıcı, hangi çalışma saatleri | Süreç sahipleri |
| 2. En yoğun anda eşzamanlı talep | Yoğun saatte aynı anda yanıtlanan talep sayısı | Kullanım kayıtları ya da barındırılan modelle yapılan pilot |
| 3. Talep başına bağlam | İstem, getirilen belgeler ve yanıt; token cinsinden | Örnek taleplerin aday modelin tokenizer'ından geçirilmesi |
| 4. Aday model ve hassasiyet | Parametre sayısı; FP16, FP8 veya INT4 | Model kartı ve kendi verinizle kalite testi |
| 5. Ağırlık belleği | Parametre × parametre başına bayt | Model belgeleri |
| 6. Talep başına KV önbelleği | 3. satırdaki bağlam uzunluğunda | Model belgeleri ya da çıkarım sunucusundan ölçüm |
| 7. Toplam KV önbelleği | 6. satır × 2. satır; en kötü durum | Hesap |
| 8. Çalışma payı | Çekirdekler, ara hesaplar, parçalanma | Çıkarım sunucusu belgeleri; yük testinde doğrulanır |
| 9. Kopya başına GPU | (5. satır + 7. satır + 8. satır) ÷ kart belleği; sunucunun desteklediği bir yapılandırmaya yukarı yuvarlanır | Hesap |
| 10. Kopya sayısı | Erişilebilirlik ve bakım pencereleri için gereken kopyalar | Kesintisizlik hedefiniz |
| 11. Test ortamı | Yeni model ve sürümleri denemek için ayrı kapasite | Sürüm yayınlama süreciniz |
| 12. Gecikme hedefi | İlk token'a kadar geçen süre ve toplam yanıt süresi | Kullanıcı beklentisi; yük testinde ölçülür |
Varsayımsal örnek: kurum içi belge asistanı
Bu, yukarıdaki yayımlanmış Llama 3.1 rakamlarıyla yapılmış varsayımsal bir hesaptır; gerçek değerler modele, çıkarım sunucusuna ve trafiğinize bağlıdır. Kurum belgeleri üzerinden soru yanıtlayan bir asistan düşünelim: En yoğun anda aynı anda işlenen 20 talep var, her birinin bağlamı (soru, getirilen pasajlar ve yanıt) 16.000 token'a kadar çıkıyor ve önbellek FP16'da tutuluyor.
- 8B sınıfı model, FP16: 16 GB ağırlık ve 20 × 1,95 GB, yani yaklaşık 39 GB önbellek; çalışma payından önce toplam 55 GB civarı. Tek bir 80 GB ya da 94 GB kart bir kopyayı taşıyabilir. 48 GB'lık bir kart ise ağırlıkları ya da önbelleği nicelemeden veya bağlam sınırını düşürmeden yetmez.
- 70B sınıfı model, FP8: 70 GB ağırlık ve 20 × 4,88 GB, yani yaklaşık 98 GB önbellek; çalışma payından önce toplam 168 GB civarı. Tek bir kopya için en az üç adet 80 GB kart gerekir; erişilebilirlik için ikinci bir kopya bunu ikiye katlar.
Bu en kötü durumdur: Her talebin aynı anda tam bağlamı kullandığını varsayar. vLLM'in özgün araştırma makalesinde anlatılan PagedAttention, önbellek belleğini talepler büyüdükçe bloklar hâlinde ayırır; böylece parçalanmadan kaynaklanan israf azalır ve bir kartı daha fazla talep paylaşabilir. Makale, karşılaştırılan sistemlere göre aynı gecikmede 2–4 kat daha yüksek iş hacmi bildirir; sizin kazancınız trafiğinize bağlıdır. Pratik sonuç şudur: 8B ile 70B model arasındaki seçim yalnızca bir kalite kararı değildir, sunucu sayısını birkaç kat değiştirir. Bu yüzden kararı, ikisini de kendi görevlerinizde test ederek verin.
Hangi çıkarım sunucusunu kullanmalısınız?
Çıkarım sunucusunu elinizdeki donanıma, ihtiyaç duyduğunuz modellere ve uygulamalarınızın beklediği arayüze göre seçin. vLLM, yaygın kullanılan açık kaynaklı bir seçenektir. Belgeleri PagedAttention'ı, sürekli toplu işlemeyi (continuous batching), önek önbelleğini, OpenAI uyumlu API sunucusunu, çeşitli niceleme biçimlerini, GPU'lar arasında tensör ve boru hattı paralelliğini ve NVIDIA, AMD GPU'larıyla diğer hızlandırıcılara desteği sayar. OpenAI uyumlu arayüz alıcı için önemlidir: Barındırılan bir API için yazılmış uygulamalar çoğu zaman küçük değişikliklerle kendi sunucunuza yönlendirilebilir; bu da karma bir yapıyı yönetilebilir kılar.
Bu alan hızlı değişiyor; bir projeye bağlanmadan önce güncel durumunu kontrol edin. Hugging Face'in Text Generation Inference sayfası, TGI'ın artık bakım modunda olduğunu belirtiyor ve bundan sonrası için vLLM, SGLang ile llama.cpp veya MLX gibi yerel motorları öneriyor. llama.cpp gibi motorlar genellikle tek bir makinede daha küçük modeller için kullanılır; çok sayıda eşzamanlı kullanıcıyı bunlardan birine vermeden önce yük testi yapın.
Hangisini seçerseniz seçin, kapasiteyi birkaç ayar belirler. vLLM'in motor parametreleri arasında sunucunun kullanabileceği GPU belleği oranı, en uzun bağlam, birlikte işlenen en fazla dizi sayısı, KV önbelleğinin veri tipi ve modelin kaç GPU'ya bölüneceği yer alır. Bu değerleri boyutlandırma sayfasının yanına yazın; donanım teklifini kullanıcının yaşayacağı deneyime bağlayan değerler bunlardır.
Donanım ve işletme maliyet kalemleri nelerdir?
GPU'ların satın alma bedeli bütçenin yalnızca bir satırıdır. Eksiksiz bir karşılaştırma aşağıdaki kalemleri içerir; her donanım ve hizmet teklifinden bunların hangisini kapsadığını, hangisini size bıraktığını yazmasını isteyin.
| Maliyet kalemi | Türü | Neye bağlı? |
|---|---|---|
| GPU ve sunucular | Tek seferlik; kiralanırsa aylık | Model boyutu, eşzamanlılık, kopya sayısı |
| Depolama ve yedekleme | Tek seferlik ve sürekli | Model dosyaları, dizinler, kayıtlar ve saklama süreleri |
| Ağ ve güvenlik ekipmanı | Tek seferlik | Yalıtım gereksinimi, ağ bölütleme, ağ geçidi |
| Kabin alanı, enerji ve soğutma | Sürekli | GPU güç tüketimi: NVIDIA, sunucunun geri kalanı hariç H100 SXM için 700 W'a kadar, L40S için 350 W belirtir |
| Donanım desteği ve yedek parça | Sürekli | İstenen müdahale süresi; tek bir arızalı kartın hizmeti durdurup durdurmayacağı |
| Yazılım ve destek abonelikleri | Sürekli | İşletim sistemi, sürücüler, orkestrasyon, açık kaynak araçlar için isteğe bağlı ticari destek |
| İşletim personeli | Sürekli | İzleme, güncelleme, güvenlik yamaları, olay müdahalesi |
| Değerlendirme ve model güncellemeleri | Sürekli | Yeni model sürümlerini ne sıklıkla test ettiğiniz ve test kümenizin büyüklüğü |
| Donanım yenileme | Dönemsel | Amortisman politikası ve yeni GPU nesillerinin hızı |
Barındırılan seçeneği de aynı sayfaya koyun: token bazında model kullanımı, varsa ayrılmış kapasite ücretleri, kişisel veriyi istemlerin dışında tutmak için gereken iş, sözleşme ve aktarım incelemesi. Karşılaştırma ancak iki sütun da yalnızca makineleri değil insanları da içerdiğinde adil olur.
KVKK neyi değiştirir?
Modeli Türkiye'deki kendi sunucularınızda tutmak belirli bir soruyu, yani model çağrısı sırasındaki yurt dışına aktarımı ortadan kaldırır; KVKK'nın geri kalanını değil. Kişisel Verileri Koruma Kurumu, Kasım 2025'te yayımladığı Üretken Yapay Zekâ ve Kişisel Verilerin Korunması Rehberi'nde, Türkiye'deki veri sorumlularının yurt dışında yerleşik hizmet sağlayıcılar aracılığıyla üretken yapay zekâ sistemlerini kullanması ve bu yolla kişisel verilerin yurt dışına aktarılması durumunda, aktarımın 6698 sayılı Kanun'un 9. maddesine ve ilgili yönetmeliğe uygun yapılması gerektiğini belirtir. Bu yönetmelik yeterlilik kararına dayalı aktarımları, uygun güvencelere dayalı aktarımları ve arızi aktarımları düzenler. Kendi sunucunuzdaki bir model, istemleri ve çıktıları bu yolun dışında tutar.
Diğer yükümlülükler yerinde durur. İşleme için yine bir hukuki sebebe, aynı rehberin ayrı bir başlıkta ele aldığı 10. madde kapsamındaki aydınlatma yükümlülüğüne ve uygun güvenlik tedbirlerine ihtiyacınız vardır. Kayıtlarınızda saklanan istem ve yanıtlar kişisel veri içeriyorsa kendileri de kişisel veridir; erişim kontrolü ve saklama süresi gerektirir. Güncelleme servisi, telemetri ya da barındırılan bir yedek model gibi internete çıkan herhangi bir bileşen varsa, o akışı da veri haritasına ekleyin. Kendi verinize ilişkin sorular veri koruma hukukçunuzun alanıdır; mimarinin görevi, hukukçunun seçtiği yolun kanıtlanabilmesini sağlamaktır.
Veriyi ülkede tutmak ile modelin kendisini kontrol etmek farklı şeylerdir. Bu farkı ve kurumların kullandığı karma yapıları kurum içi ve egemen yapay zekâ yazımızda anlattık.
Barındırılan modellere göre kaliteden ne kaybedersiniz?
Zor ve ucu açık görevlerde bir miktar yetenekten vazgeçebilir, daha önce sağlayıcının taşıdığı sorumlulukları üstlenirsiniz. Birkaç GPU'ya sığan açık ağırlıklı modeller sınıflandırma, alan çıkarma ve getirilen belgelerden yanıt üretme gibi dar ve net işleri iyi yapabilir. En büyük barındırılan modeller uzun ve çok adımlı akıl yürütmede hâlâ daha güçlü olabilir; niceleme de kaliteyi ayrıca düşürebilir. Türkçe kendi değişkenini ekler: Bir modelin genel kıyaslama puanı, sizin belgelerinizde nasıl davrandığını söylemez.
| Boyut | Barındırılan model | Kendi sunucunuzdaki model |
|---|---|---|
| En yüksek yetenek | En büyük modellere erişim | Aldığınız donanımla sınırlı |
| Sürüm kontrolü | Sağlayıcı modelleri kendi takvimine göre değiştirebilir veya kaldırabilir | Siz değiştirene kadar sürüm sabit kalır |
| Güvenlik filtreleri | Sağlayıcı sunar ve bakımını yapar | Yapılandırmak ve test etmek size kalır |
| Yeni sürümler | Yayımlandığı anda kullanılabilir | Her yükseltme küçük bir projedir: indirme, test, devreye alma |
| Veri yolu | Sözleşme ve tasarımla sınırlanmadıkça ağınızdan çıkar | Ağınızda kalır |
| Maliyet yapısı | Kullandıkça öde | Kullanılsa da kullanılmasa da sabit kapasite |
Kalite sorusunu çözmenin yolu bir sıralama tablosu değil, kendi vakalarınızdan oluşturulmuş ve barındırılan ya da yerel her adayda aynı koşullarla çalıştırılan bir test kümesidir. Açık ağırlıklı ve kapalı modelleri kontrol, gizlilik, maliyet ve yetenek açısından açık kaynak mı, kapalı model mi? yazımızda daha ayrıntılı karşılaştırdık.
Sık yapılan hatalar
- Boyutlandırmayı ağırlıklara göre yapıp eşzamanlı kullanıcıların KV önbelleğini unutmak.
- Gerçek kullanımı ölçmeden donanım almak.
- Çalışanların bağımlı olduğu bir hizmeti yedeği olmayan tek bir GPU sunucusundan vermek.
- Kendi verinizle test etmeden, genel kıyaslama sonuçlarına bakarak model seçmek.
- "Kurum içi kurulum"u tek başına KVKK uyumu saymak.
- Kayıtları, yedekleri ve güncelleme kanallarını veri akışı haritasının dışında bırakmak.
Hatson Tech bu soruya nasıl yaklaşıyor?
Büyük dil modeli eğitimi ve ince ayar çalışmalarımızda aday açık ağırlıklı modelleri kendi Türkçe test kümeniz üzerinde karşılaştırıyor, verinin kurum içinde kalması gerektiğinde bu modelleri kendi sunucularınızda ya da özel bulutta çalıştırıyoruz. Donanım, ölçülen model boyutunu ve yükü izler; tersi değil. Bu kararı tartıyorsanız ilk görüşme ücretsizdir: Kullanıcı sayısına dair tahmininizi, ilgili belgeleri ve veri kısıtlarınızı getirin, boyutlandırma sayfasını birlikte dolduralım.