Yerel LLM Çalıştırma: Kuantizasyon ve Donanım Rehberi
Aziz Özdemiroğlu

Büyük dil modellerini kendi bilgisayarınızda çalıştırmak artık bir hobi projesi değil, ciddi bir seçenek: veriler cihazdan çıkmıyor, API faturası yok, internet kesilse de çalışıyor. Ama hangi model hangi donanıma sığar, "Q4_K_M" ne demek, neden bazı modeller saniyede 50 token üretirken bazıları 2 token'da kalıyor? Bu rehberde bellek hesabını, kuantizasyonu ve Ollama ile llama.cpp kullanımını pratik örneklerle anlatıyoruz.
Kısaca
- Belirleyici kaynak bellek: model ağırlıkları + bağlam (KV cache) GPU belleğine (VRAM) veya birleşik belleğe sığmalı.
- Kaba hesap: parametre sayısı × bit başına ağırlık ÷ 8 = ağırlık boyutu. 8 milyar parametreli bir model 16 bit'te ~16 GB, 4 bit'te ~4,5–5 GB tutar.
- Kuantizasyon, ağırlıkları daha az bitle saklar. 4–5 bit aralığı (ör. GGUF Q4_K_M, Q5_K_M) çoğu kullanımda kalite/boyut dengesinin en iyi noktası.
- Hız büyük ölçüde bellek bant genişliğine bağlı. Model belleğe sığmayıp sistem RAM'ine taşarsa hız dramatik düşer.
- Başlamak için en kolay yol Ollama. Daha fazla kontrol için llama.cpp.
Bellek nereye gidiyor?
Bir modeli çalıştırırken bellek üç kalemden oluşur:
| Kalem | Neye bağlı | Not |
|---|---|---|
| Model ağırlıkları | Parametre sayısı × kuantizasyon bit sayısı | En büyük kalem |
| KV cache (bağlam belleği) | Bağlam uzunluğu × katman sayısı × gizli boyut | Uzun bağlamda gigabaytlara çıkar |
| Çalışma zamanı ek yükü | Çıkarım motoru, ara tamponlar | Genellikle birkaç yüz MB – 1 GB |
Ağırlık boyutu tablosu (yaklaşık)
| Parametre | FP16 (16 bit) | 8 bit | ~4,5–5 bit (Q4_K_M civarı) |
|---|---|---|---|
| 3B | ~6 GB | ~3,2 GB | ~2 GB |
| 8B | ~16 GB | ~8,5 GB | ~5 GB |
| 14B | ~28 GB | ~15 GB | ~9 GB |
| 32B | ~64 GB | ~34 GB | ~20 GB |
| 70B | ~140 GB | ~75 GB | ~42 GB |
Değerler parametre × bit ÷ 8 formülüyle hesaplanmış kaba tahminlerdir. Gerçek dosya boyutları model mimarisine ve kuantizasyon türüne göre değişir. Buna KV cache ve çalışma zamanı payını ekleyin.
Pratik kural: Seçtiğiniz kuantize modelin dosya boyutuna %20–30 pay ekleyin. Kullanılabilir VRAM'iniz bu toplamdan büyükse model rahat çalışır.
Kuantizasyon nedir?
Modeller genellikle 16 bit kayan noktalı ağırlıklarla eğitilir. Kuantizasyon bu ağırlıkları daha az bitle (8, 6, 5, 4, hatta 2–3 bit) temsil eder. Küçük bloklar halinde ölçeklendirme yapıldığı için kayıp, düşük bit sayılarında bile şaşırtıcı derecede azdır.
GGUF kuantizasyon türleri (llama.cpp / Ollama)
| Tür | Yaklaşık bit/ağırlık | Kullanım |
|---|---|---|
| Q8_0 | ~8,5 | Kaliteye en yakın; bellek bolsa |
| Q6_K | ~6,6 | Çok yüksek kalite |
| Q5_K_M | ~5,7 | Kalite odaklı denge |
| Q4_K_M | ~4,8 | Çoğu kullanım için önerilen varsayılan |
| Q3_K_M | ~3,9 | Bellek kısıtlıysa; kalite kaybı belirginleşir |
| Q2_K | ~3 | Yalnızca çok büyük modelleri sığdırmak için |
Genel gözlem: Büyük bir modelin 4 bit sürümü, aynı belleğe sığan küçük bir modelin 16 bit sürümünden çoğu görevde daha iyi sonuç verir.
Hız: neden bellek bant genişliği?
Token üretirken (decode aşaması) her yeni token için modelin tüm ağırlıklarının bellekten okunması gerekir. Bu yüzden kabaca:
Saniyedeki token ≈ Bellek bant genişliği (GB/s) ÷ Model boyutu (GB)
Bu, üst sınır için kaba bir tahmindir; gerçek değer daha düşüktür.
| Donanım türü | Tipik bant genişliği | 5 GB'lık model için kaba üst sınır |
|---|---|---|
| Çift kanallı DDR5 masaüstü RAM | ~80–100 GB/s | ~16–20 token/s |
| Birleşik bellekli dizüstü/masaüstü yongalar | ~100–800 GB/s (modele göre) | ~20–160 token/s |
| Orta/üst segment oyun GPU'su | ~400–1000+ GB/s | ~80–200 token/s |
Model VRAM'e sığmayıp katmanların bir kısmı CPU'ya taşınırsa, hız en yavaş halka olan sistem RAM'i tarafından belirlenir.
Ollama ile başlamak
# Linux kurulumu (betiği çalıştırmadan önce içeriğini inceleyin)
curl -fsSL https://ollama.com/install.sh -o ollama-install.sh && less ollama-install.sh && sh ollama-install.sh
# Bir model indirip sohbet başlatın (etiketler Ollama kütüphanesinde listelenir)
ollama run llama3.1:8b
# Yüklü modeller ve bellek kullanımı
ollama list
ollama ps
Ollama yerel bir HTTP API sunar (varsayılan 127.0.0.1:11434):
curl http://127.0.0.1:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "PostgreSQL'\''de kısmi indeks nedir? Kısaca açıkla.",
"stream": false
}'
Bağlam uzunluğunu ayarlamak: Uzun belgelerle çalışacaksanız bağlam penceresini artırın, ama KV cache'in belleği büyüteceğini unutmayın:
# Modelfile ile özelleştirilmiş model
cat > Modelfile <<'EOF'
FROM llama3.1:8b
PARAMETER num_ctx 16384
PARAMETER temperature 0.3
EOF
ollama create llama-uzun -f Modelfile
llama.cpp ile daha fazla kontrol
git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
cmake -B build -DGGML_CUDA=ON # NVIDIA için; Apple Silicon'da Metal varsayılan açık
cmake --build build --config Release -j
# OpenAI uyumlu sunucu: -ngl ile GPU'ya alınacak katman sayısı, -c bağlam uzunluğu
./build/bin/llama-server -m modeller/model-Q4_K_M.gguf -ngl 99 -c 8192 --host 127.0.0.1 --port 8080
| Parametre | Anlamı |
|---|---|
-ngl |
GPU'ya yüklenecek katman sayısı. VRAM yetmiyorsa düşürün |
-c |
Bağlam uzunluğu (token) |
-t |
CPU iş parçacığı sayısı |
--host 127.0.0.1 |
Sunucuyu yalnızca yerelden erişilebilir yapar |
Güvenlik notları
- Yerel LLM sunucularını (
11434,8080) internete açmayın. Kimlik doğrulamasız bir API, kaynaklarınızı başkalarına açar. - Modelleri güvenilir kaynaklardan indirin. GGUF ve safetensors gibi biçimler, yüklenirken kod çalıştıran pickle dosyalarına göre daha güvenlidir.
- Lisansları kontrol edin. Açık ağırlıklı modellerin bir kısmı ticari kullanımı kısıtlar.
- Yerel model de istem enjeksiyonuna açıktır. Araç ve dosya erişimi verirken aynı ajan güvenliği kurallarını uygulayın.
Donanım seçimi kontrol listesi
- Çalıştırmak istediğiniz en büyük model ve kuantizasyon belirlendi
- Dosya boyutu + %20–30 pay ≤ kullanılabilir VRAM / birleşik bellek
- Hedef bağlam uzunluğu için KV cache payı hesaba katıldı
- Bellek bant genişliği, beklenen token/s için yeterli
- Güç tüketimi ve soğutma (sürekli yükte GPU) değerlendirildi
- Sunucu yalnızca yerel arayüzde dinliyor
Sonuç
Yerel LLM'lerde başarı, "en büyük modeli" değil belleğe rahat sığan en iyi modeli seçmekten geçer. 4–5 bit kuantizasyon çoğu iş için yeterli kaliteyi sunar; hızı ise büyük ölçüde bellek bant genişliği belirler. Ollama ile birkaç dakikada başlayın, ihtiyaçlarınız netleşince llama.cpp ile ince ayara geçin.




