Kendi Sunucunuzda Dil Modeli Çalıştırmak: Donanım ve Maliyet Kalemleri
İşletme

Kendi Sunucunuzda Dil Modeli Çalıştırmak: Donanım ve Maliyet Kalemleri

GPU belleği bütçenin yalnızca bir satırı. Boyutlandırma çalışma sayfası, eksiksiz bir teklifin kapsaması gereken maliyet kalemleri ve KVKK'nın neyi değiştirip neyi değiştirmediği.

Kısa cevap

Verinin kurum ağında kalması gerekiyorsa, kullanım düzenli ve yüksekse ya da model sürümünün sabit kalması isteniyorsa dil modelini kendi sunucunuzda çalıştırmak mantıklıdır. GPU'ları hem model ağırlıklarına hem de eşzamanlı taleplerin çalışma belleğine (KV önbelleği) göre boyutlandırın; donanımın yanında enerji, destek, personel ve model güncellemelerini de bütçeleyin ve donanım almadan önce aday modelleri kendi verinizle test edin.

Dil modelini kendi sunucunuzda çalıştırmak ne zaman mantıklıdır?

Verinin kurum ağından çıkmaması gerekiyorsa, kullanım donanımı meşgul tutacak kadar düzenli ve yüksekse ya da hangi model sürümünün yanıt verdiğini tamamen kendiniz belirlemek istiyorsanız, dil modelini kendi sunucunuzda çalıştırmak mantıklıdır. Kullanım düşük ya da düzensizse, zor görevler için en güçlü modellere ihtiyacınız varsa veya kurulumdan sonra sistemi işletecek kimse yoksa nadiren mantıklıdır. Bu bir ilke meselesi değil, hesap ve risk meselesidir: Barındırılan bir API kullandığınız kadar faturalanır; kendi GPU'larınız ise boşta da beklese, tam yükte de çalışsa aynı maliyeti üretir.

GöstergeKendi sunucunuzu işaret ederBarındırılan modeli işaret eder
Veri hassasiyetiKurum dışına çıkamayan kişisel, gizli veya mevzuata tabi veriKamuya açık ya da hassasiyeti düşük içerik
Kullanım deseniDüzenli, öngörülebilir ve yüksekDüşük, dalgalı ya da henüz bilinmiyor
Gereken kaliteOrta büyüklükte açık bir modelin iyi yaptığı dar ve net görevlerÇok adımlı zor akıl yürütme, çok uzun belgeler, geniş genel bilgi
KontrolModel sürümü sabit kalmalı; yalıtılmış ya da çevrimdışı ağ gerekiyorYeni modellere otomatik erişim bir avantaj
EkipGPU, çıkarım sunucusu ve izleme işletebilecek kişiler varİşletim kapasitesi yok
EntegrasyonYalnızca kurum ağında bulunan sistemlerZaten bulutta olan sistemler

Birçok kurum sonunda karma bir yapıya varır: Kurum dışına çıkamayan talepler için kendi sunucusunda bir model, geri kalanı için barındırılan bir model. Emin değilseniz, önce hassas olmayan veriyle barındırılan bir model üzerinde gerçek kullanımı ölçün. Gözlemlediğiniz hacim, donanım boyutlandırması için herhangi bir tahminden çok daha sağlam bir dayanaktır.

Sunucunuzda tam olarak neler çalışmalı?

Çalışan bir kurulum, bir model dosyasından fazlasıdır. En az şu bileşenleri planlayın; her birinin bir sahibi olmalı ve her biri bütçede bir yerde görünmelidir:

  • GPU sunucuları: Model ve eşzamanlı taleplerin çalışma belleği için yeterli belleğe sahip olmalı.
  • Çıkarım sunucusu: Modeli yükleyip talepleri yanıtlayan yazılım; örneğin vLLM.
  • API ağ geçidi: Kimlik doğrulama, istek sınırlama ve istek kaydı için.
  • Uygulama katmanı: Belge arama (RAG) dizini, istem şablonları ve modelin çağırabileceği araçlar.
  • İzleme ve değerlendirme: Gecikme, hata ve GPU kullanımı; ayrıca her değişiklikten sonra kaliteyi ölçen bir test kümesi.
  • Depolama ve yedekleme: Model dosyaları, dizinler ve kayıtlar için.

Bir model ne kadar GPU belleğine ihtiyaç duyar?

GPU belleği iki şeyi taşımak zorundadır: modelin ağırlıklarını ve aynı anda işlenen her talebin çalışma belleğini. Ağırlıklar kabaca parametre sayısı ile parametre başına saklanan bayt sayısının çarpımı kadar yer tutar. Hugging Face'in Llama 3.1 tanıtım yazısı somut rakamlar verir: Yalnızca ağırlıkları yüklemek 8B model için FP16'da yaklaşık 16 GB, FP8'de 8 GB, INT4'te 4 GB; 70B model için 140 GB, 70 GB ve 35 GB; 405B model için 810 GB, 405 GB ve 203 GB yer tutar. Aynı sayfa, bu rakamların yalnızca model dosyasını yüklemeyi kapsadığını, çekirdekler ve CUDA grafikleri için ayrılan alanı içermediğini belirtir.

İkinci kısım olan anahtar-değer (KV) önbelleği, alıcıların en sık unuttuğu kalemdir. Her talebin dikkat durumunu tutar ve bağlam uzadıkça büyür. Aynı kaynağa göre 16.000 token'lık tek bir bağlam için FP16 KV önbelleği 8B modelde yaklaşık 1,95 GB, 70B modelde 4,88 GB'tır; 128.000 token'da bu değerler 15,62 GB ve 39,06 GB'a çıkar. Sayfa, küçük modelde bağlam üst sınıra yaklaştığında önbelleğin ağırlıklar kadar bellek kullanabileceğine dikkat çeker. Bunu aynı anda hizmet vermek istediğiniz talep sayısıyla çarptığınızda, çoğu zaman büyük rakam önbellek olur.

Şimdi bu rakamları kartlarla karşılaştırın. NVIDIA, H100 için SXM biçiminde 80 GB, H100 NVL PCIe kartı için 94 GB bellek belirtir; L40S ise 48 GB belleğe sahiptir. FP16'daki 70B model bu kartların hiçbirine tek başına sığmaz. FP8'de ağırlıklar tek bir 80 GB karta sığar ama önbelleğe çok az yer kalır; bu yüzden pratikte model birkaç GPU'ya dağıtılır. Çıkarım sunucuları bunu, tek bir modeli aynı sunucudaki kartlara bölen tensör paralelliği ile yapar.

Niceleme (quantization) olarak bilinen düşük hassasiyet belleği azaltır, ancak kaliteyi de düşürebilir. Bunu ölçülebilir bir ödünleşim olarak ele alın: Hangi sürüm için donanım alacağınıza karar vermeden önce nicelenmiş ve nicelenmemiş sürümleri aynı test kümesinde çalıştırın.

Boyutlandırma çalışma sayfası

Donanım teklifi istemeden önce bu sayfayı kendi değerlerinizle doldurun. Üçüncü sütun her değerin nereden geleceğini gösterir; boş kalan her satır, alacağınız teklifin başkasının varsayımına dayandığı anlamına gelir.

SatırNe yazılacak?Nereden gelir?
1. Kullanım senaryoları ve kullanıcılarHangi görevler, kaç kullanıcı, hangi çalışma saatleriSüreç sahipleri
2. En yoğun anda eşzamanlı talepYoğun saatte aynı anda yanıtlanan talep sayısıKullanım kayıtları ya da barındırılan modelle yapılan pilot
3. Talep başına bağlamİstem, getirilen belgeler ve yanıt; token cinsindenÖrnek taleplerin aday modelin tokenizer'ından geçirilmesi
4. Aday model ve hassasiyetParametre sayısı; FP16, FP8 veya INT4Model kartı ve kendi verinizle kalite testi
5. Ağırlık belleğiParametre × parametre başına baytModel belgeleri
6. Talep başına KV önbelleği3. satırdaki bağlam uzunluğundaModel belgeleri ya da çıkarım sunucusundan ölçüm
7. Toplam KV önbelleği6. satır × 2. satır; en kötü durumHesap
8. Çalışma payıÇekirdekler, ara hesaplar, parçalanmaÇıkarım sunucusu belgeleri; yük testinde doğrulanır
9. Kopya başına GPU(5. satır + 7. satır + 8. satır) ÷ kart belleği; sunucunun desteklediği bir yapılandırmaya yukarı yuvarlanırHesap
10. Kopya sayısıErişilebilirlik ve bakım pencereleri için gereken kopyalarKesintisizlik hedefiniz
11. Test ortamıYeni model ve sürümleri denemek için ayrı kapasiteSürüm yayınlama süreciniz
12. Gecikme hedefiİlk token'a kadar geçen süre ve toplam yanıt süresiKullanıcı beklentisi; yük testinde ölçülür

Varsayımsal örnek: kurum içi belge asistanı

Bu, yukarıdaki yayımlanmış Llama 3.1 rakamlarıyla yapılmış varsayımsal bir hesaptır; gerçek değerler modele, çıkarım sunucusuna ve trafiğinize bağlıdır. Kurum belgeleri üzerinden soru yanıtlayan bir asistan düşünelim: En yoğun anda aynı anda işlenen 20 talep var, her birinin bağlamı (soru, getirilen pasajlar ve yanıt) 16.000 token'a kadar çıkıyor ve önbellek FP16'da tutuluyor.

  • 8B sınıfı model, FP16: 16 GB ağırlık ve 20 × 1,95 GB, yani yaklaşık 39 GB önbellek; çalışma payından önce toplam 55 GB civarı. Tek bir 80 GB ya da 94 GB kart bir kopyayı taşıyabilir. 48 GB'lık bir kart ise ağırlıkları ya da önbelleği nicelemeden veya bağlam sınırını düşürmeden yetmez.
  • 70B sınıfı model, FP8: 70 GB ağırlık ve 20 × 4,88 GB, yani yaklaşık 98 GB önbellek; çalışma payından önce toplam 168 GB civarı. Tek bir kopya için en az üç adet 80 GB kart gerekir; erişilebilirlik için ikinci bir kopya bunu ikiye katlar.

Bu en kötü durumdur: Her talebin aynı anda tam bağlamı kullandığını varsayar. vLLM'in özgün araştırma makalesinde anlatılan PagedAttention, önbellek belleğini talepler büyüdükçe bloklar hâlinde ayırır; böylece parçalanmadan kaynaklanan israf azalır ve bir kartı daha fazla talep paylaşabilir. Makale, karşılaştırılan sistemlere göre aynı gecikmede 2–4 kat daha yüksek iş hacmi bildirir; sizin kazancınız trafiğinize bağlıdır. Pratik sonuç şudur: 8B ile 70B model arasındaki seçim yalnızca bir kalite kararı değildir, sunucu sayısını birkaç kat değiştirir. Bu yüzden kararı, ikisini de kendi görevlerinizde test ederek verin.

Hangi çıkarım sunucusunu kullanmalısınız?

Çıkarım sunucusunu elinizdeki donanıma, ihtiyaç duyduğunuz modellere ve uygulamalarınızın beklediği arayüze göre seçin. vLLM, yaygın kullanılan açık kaynaklı bir seçenektir. Belgeleri PagedAttention'ı, sürekli toplu işlemeyi (continuous batching), önek önbelleğini, OpenAI uyumlu API sunucusunu, çeşitli niceleme biçimlerini, GPU'lar arasında tensör ve boru hattı paralelliğini ve NVIDIA, AMD GPU'larıyla diğer hızlandırıcılara desteği sayar. OpenAI uyumlu arayüz alıcı için önemlidir: Barındırılan bir API için yazılmış uygulamalar çoğu zaman küçük değişikliklerle kendi sunucunuza yönlendirilebilir; bu da karma bir yapıyı yönetilebilir kılar.

Bu alan hızlı değişiyor; bir projeye bağlanmadan önce güncel durumunu kontrol edin. Hugging Face'in Text Generation Inference sayfası, TGI'ın artık bakım modunda olduğunu belirtiyor ve bundan sonrası için vLLM, SGLang ile llama.cpp veya MLX gibi yerel motorları öneriyor. llama.cpp gibi motorlar genellikle tek bir makinede daha küçük modeller için kullanılır; çok sayıda eşzamanlı kullanıcıyı bunlardan birine vermeden önce yük testi yapın.

Hangisini seçerseniz seçin, kapasiteyi birkaç ayar belirler. vLLM'in motor parametreleri arasında sunucunun kullanabileceği GPU belleği oranı, en uzun bağlam, birlikte işlenen en fazla dizi sayısı, KV önbelleğinin veri tipi ve modelin kaç GPU'ya bölüneceği yer alır. Bu değerleri boyutlandırma sayfasının yanına yazın; donanım teklifini kullanıcının yaşayacağı deneyime bağlayan değerler bunlardır.

Donanım ve işletme maliyet kalemleri nelerdir?

GPU'ların satın alma bedeli bütçenin yalnızca bir satırıdır. Eksiksiz bir karşılaştırma aşağıdaki kalemleri içerir; her donanım ve hizmet teklifinden bunların hangisini kapsadığını, hangisini size bıraktığını yazmasını isteyin.

Maliyet kalemiTürüNeye bağlı?
GPU ve sunucularTek seferlik; kiralanırsa aylıkModel boyutu, eşzamanlılık, kopya sayısı
Depolama ve yedeklemeTek seferlik ve sürekliModel dosyaları, dizinler, kayıtlar ve saklama süreleri
Ağ ve güvenlik ekipmanıTek seferlikYalıtım gereksinimi, ağ bölütleme, ağ geçidi
Kabin alanı, enerji ve soğutmaSürekliGPU güç tüketimi: NVIDIA, sunucunun geri kalanı hariç H100 SXM için 700 W'a kadar, L40S için 350 W belirtir
Donanım desteği ve yedek parçaSürekliİstenen müdahale süresi; tek bir arızalı kartın hizmeti durdurup durdurmayacağı
Yazılım ve destek abonelikleriSürekliİşletim sistemi, sürücüler, orkestrasyon, açık kaynak araçlar için isteğe bağlı ticari destek
İşletim personeliSürekliİzleme, güncelleme, güvenlik yamaları, olay müdahalesi
Değerlendirme ve model güncellemeleriSürekliYeni model sürümlerini ne sıklıkla test ettiğiniz ve test kümenizin büyüklüğü
Donanım yenilemeDönemselAmortisman politikası ve yeni GPU nesillerinin hızı

Barındırılan seçeneği de aynı sayfaya koyun: token bazında model kullanımı, varsa ayrılmış kapasite ücretleri, kişisel veriyi istemlerin dışında tutmak için gereken iş, sözleşme ve aktarım incelemesi. Karşılaştırma ancak iki sütun da yalnızca makineleri değil insanları da içerdiğinde adil olur.

KVKK neyi değiştirir?

Modeli Türkiye'deki kendi sunucularınızda tutmak belirli bir soruyu, yani model çağrısı sırasındaki yurt dışına aktarımı ortadan kaldırır; KVKK'nın geri kalanını değil. Kişisel Verileri Koruma Kurumu, Kasım 2025'te yayımladığı Üretken Yapay Zekâ ve Kişisel Verilerin Korunması Rehberi'nde, Türkiye'deki veri sorumlularının yurt dışında yerleşik hizmet sağlayıcılar aracılığıyla üretken yapay zekâ sistemlerini kullanması ve bu yolla kişisel verilerin yurt dışına aktarılması durumunda, aktarımın 6698 sayılı Kanun'un 9. maddesine ve ilgili yönetmeliğe uygun yapılması gerektiğini belirtir. Bu yönetmelik yeterlilik kararına dayalı aktarımları, uygun güvencelere dayalı aktarımları ve arızi aktarımları düzenler. Kendi sunucunuzdaki bir model, istemleri ve çıktıları bu yolun dışında tutar.

Diğer yükümlülükler yerinde durur. İşleme için yine bir hukuki sebebe, aynı rehberin ayrı bir başlıkta ele aldığı 10. madde kapsamındaki aydınlatma yükümlülüğüne ve uygun güvenlik tedbirlerine ihtiyacınız vardır. Kayıtlarınızda saklanan istem ve yanıtlar kişisel veri içeriyorsa kendileri de kişisel veridir; erişim kontrolü ve saklama süresi gerektirir. Güncelleme servisi, telemetri ya da barındırılan bir yedek model gibi internete çıkan herhangi bir bileşen varsa, o akışı da veri haritasına ekleyin. Kendi verinize ilişkin sorular veri koruma hukukçunuzun alanıdır; mimarinin görevi, hukukçunun seçtiği yolun kanıtlanabilmesini sağlamaktır.

Veriyi ülkede tutmak ile modelin kendisini kontrol etmek farklı şeylerdir. Bu farkı ve kurumların kullandığı karma yapıları kurum içi ve egemen yapay zekâ yazımızda anlattık.

Barındırılan modellere göre kaliteden ne kaybedersiniz?

Zor ve ucu açık görevlerde bir miktar yetenekten vazgeçebilir, daha önce sağlayıcının taşıdığı sorumlulukları üstlenirsiniz. Birkaç GPU'ya sığan açık ağırlıklı modeller sınıflandırma, alan çıkarma ve getirilen belgelerden yanıt üretme gibi dar ve net işleri iyi yapabilir. En büyük barındırılan modeller uzun ve çok adımlı akıl yürütmede hâlâ daha güçlü olabilir; niceleme de kaliteyi ayrıca düşürebilir. Türkçe kendi değişkenini ekler: Bir modelin genel kıyaslama puanı, sizin belgelerinizde nasıl davrandığını söylemez.

BoyutBarındırılan modelKendi sunucunuzdaki model
En yüksek yetenekEn büyük modellere erişimAldığınız donanımla sınırlı
Sürüm kontrolüSağlayıcı modelleri kendi takvimine göre değiştirebilir veya kaldırabilirSiz değiştirene kadar sürüm sabit kalır
Güvenlik filtreleriSağlayıcı sunar ve bakımını yaparYapılandırmak ve test etmek size kalır
Yeni sürümlerYayımlandığı anda kullanılabilirHer yükseltme küçük bir projedir: indirme, test, devreye alma
Veri yoluSözleşme ve tasarımla sınırlanmadıkça ağınızdan çıkarAğınızda kalır
Maliyet yapısıKullandıkça ödeKullanılsa da kullanılmasa da sabit kapasite

Kalite sorusunu çözmenin yolu bir sıralama tablosu değil, kendi vakalarınızdan oluşturulmuş ve barındırılan ya da yerel her adayda aynı koşullarla çalıştırılan bir test kümesidir. Açık ağırlıklı ve kapalı modelleri kontrol, gizlilik, maliyet ve yetenek açısından açık kaynak mı, kapalı model mi? yazımızda daha ayrıntılı karşılaştırdık.

Sık yapılan hatalar

  • Boyutlandırmayı ağırlıklara göre yapıp eşzamanlı kullanıcıların KV önbelleğini unutmak.
  • Gerçek kullanımı ölçmeden donanım almak.
  • Çalışanların bağımlı olduğu bir hizmeti yedeği olmayan tek bir GPU sunucusundan vermek.
  • Kendi verinizle test etmeden, genel kıyaslama sonuçlarına bakarak model seçmek.
  • "Kurum içi kurulum"u tek başına KVKK uyumu saymak.
  • Kayıtları, yedekleri ve güncelleme kanallarını veri akışı haritasının dışında bırakmak.

Hatson Tech bu soruya nasıl yaklaşıyor?

Büyük dil modeli eğitimi ve ince ayar çalışmalarımızda aday açık ağırlıklı modelleri kendi Türkçe test kümeniz üzerinde karşılaştırıyor, verinin kurum içinde kalması gerektiğinde bu modelleri kendi sunucularınızda ya da özel bulutta çalıştırıyoruz. Donanım, ölçülen model boyutunu ve yükü izler; tersi değil. Bu kararı tartıyorsanız ilk görüşme ücretsizdir: Kullanıcı sayısına dair tahmininizi, ilgili belgeleri ve veri kısıtlarınızı getirin, boyutlandırma sayfasını birlikte dolduralım.

Önemli çıkarımlar

  • Veri kurum içinde kalmalıysa, kullanım düzenli ve yüksekse ya da model sürümü sabit kalmalıysa kendi sunucunuzu seçin; değilse barındırılan modelle başlayıp ölçün.
  • GPU belleği ağırlıkların yanında her eşzamanlı talebin KV önbelleğini de taşımalıdır; çoğu zaman büyük kalem önbellektir.
  • Donanım teklifi istemeden önce boyutlandırma sayfasını ölçülmüş kullanımla doldurun.
  • Yalnızca GPU'yu değil; enerji, soğutma, destek, personel, değerlendirme ve donanım yenilemeyi de bütçeleyin.
  • Kendi sunucunuzda çalışmak model çağrısındaki yurt dışına aktarımı ortadan kaldırır; KVKK'nın geri kalanını değil.
  • Kalite sorusunu, barındırılan ve yerel adaylarda aynı şekilde çalıştırılan, kendi vakalarınızdan oluşmuş bir test kümesiyle çözün.

Sıkça sorulan sorular

70B bir model ne kadar GPU belleğine ihtiyaç duyar?

Yalnızca ağırlıklar için Hugging Face'in Llama 3.1 rakamları FP16'da yaklaşık 140 GB, FP8'de 70 GB, INT4'te 35 GB'tır. Eşzamanlı taleplerin KV önbelleği ve çalışma payı bunun üzerine eklenir; bu yüzden 70B bir model genellikle birkaç GPU'ya dağıtılarak çalışır.

Dil modelini GPU olmadan çalıştırabilir miyiz?

Küçük modeller llama.cpp gibi motorlarla CPU üzerinde çalışabilir; bu, tek makinede hafif kullanım için uygundur. Daha büyük modeller ve çok sayıda eşzamanlı kullanıcı normalde GPU gerektirir; herhangi bir kuruluma bağlanmadan önce gerçekçi trafikle yük testi yapın.

vLLM ücretsiz mi?

vLLM açık kaynaklı bir projedir; yazılımın kendisi için lisans ücreti yoktur. Donanım, işletim ve tercih ettiğiniz ticari destek için yine ödeme yaparsınız; sunduğunuz her modelin lisansını da ayrıca kontrol etmeniz gerekir.

Modeli kendi sunucumuzda çalıştırmak bizi KVKK'ya uyumlu yapar mı?

Hayır. İstemleri model çağrısındaki yurt dışına aktarım yolunun dışında tutar; ancak hukuki sebep, aydınlatma metni, güvenlik tedbirleri ve kayıtlar için saklama kuralları yine gerekir. Ayrıntıları veri koruma hukukçunuzla netleştirin.

Açık ağırlıklı bir model barındırılan bir model kadar iyi olur mu?

Dar ve net tanımlı görevlerde yeterince iyi olabilir; uzun ve çok adımlı akıl yürütmede ise en büyük barındırılan modeller hâlâ daha güçlü olabilir. Güvenilir tek cevap, ikisini de kendi vakalarınızdan oluşan aynı küme üzerinde test etmektir.

GPU satın mı almalıyız, kiralamalı mıyız?

Kiralamak büyük bir ön maliyeti aylık bir gidere çevirir ve kullanım belirsizken bir çıkış yolu bırakır. Satın almak, kullanım ölçülmüş, düzenli ve donanımı meşgul tutacak kadar yüksek olduğunda daha anlamlıdır. İkisini personel dahil tüm maliyet kalemleriyle karşılaştırın.

Tüm yazılar