Gemma 4 QAT Modelleri: Mobil ve Laptoplarda Yüksek Verimli Yapay Zeka
Google, Gemma 4‘ün piyasaya sürülmesinden bu yana yeteneklerini sürekli genişletiyor. Multi-Token Prediction (MTP) ile çıkarım hızlandırmanın ve E4B ile 26B MOE modelleri arasındaki boşluğu dolduran 12B modelin ardından, şimdi de Quantization-Aware Training (QAT) ile optimize edilmiş yeni checkpoint’leri yayınladı. Bu yeni modeller, Gemma 4’ü daha verimli hale getirerek günlük edge cihazlarda ve tüketici GPU’larında yerel olarak çalıştırılmasına olanak tanıyor.
QAT, eğitim sırasında nicelemeyi simüle ederek model sıkıştırıldığında kalite kaybını en aza indirir. Bu sürüm, popüler Q4_0 niceleme formatı için QAT checkpoint’lerinin yanı sıra, mobil kullanım durumları için özel olarak geliştirilmiş yeni bir niceleme formatını da içeriyor. Bu mobil format sayesinde Gemma 4 E2B’nin bellek ayak izi 1GB’a kadar düşürüldü. Tüm bu yenilikler, Gemma 4’ten beklenen yetenekleri ve kaliteyi koruyarak bellek gereksinimlerini önemli ölçüde azaltıyor.
Model Kalitesini Korurken Boyutu Küçültmek
Niceleme, bellek ayak izini azaltarak ve kod çözme hızını artırarak modellerin tüketici donanımında çalıştırılması için kritik bir teknolojidir. Ancak standart Eğitim Sonrası Niceleme (PTQ) genellikle performans düşüşüne yol açar. QAT ise niceleme sürecini doğrudan eğitime entegre ederek bu sorunu aşar. PTQ kaliteyi korumada zaten etkili olsa da, QAT sonuçları standart PTQ temellerine kıyasla daha yüksek genel kalite sunar.
Bu QAT formülü, tüm modeller için performansı maksimize etmek amacıyla popüler Q4_0 formatına uygulandı. Edge modelleri (E2B ve E4B) için, nicelemeye yaklaşımımız özel bir mobil odaklı niceleme şemasıyla yeniden tasarlandı.
VRAM ve Depolamadan Tasarruf
Yeni QAT modelleri, VRAM ve depolama gereksinimlerini dramatik bir şekilde azaltarak daha fazla cihaza uygun hale getiriyor.
Mobil Cihazlar İçin Kaput Altı Optimizasyonlar
Standart sıkıştırma formatları genellikle mobil işlemcilerde verimli çalışmakta zorlanır. Gemma 4’ün mobil cihazlarda sorunsuz performans göstermesini sağlamak için edge donanımı için tasarlanmış özel bir mobil niceleme şeması geliştirildi:
- Statik aktivasyonlar: Normalde modeller, veriyi anında nasıl ölçekleyeceklerini hesaplayarak işlem gücünü boşa harcar. Bu ayarları eğitim sırasında önceden hesaplayarak, mobil çiplerdeki iş yükü azaltılır ve yanıtlar hızlanır.
- Kanal bazlı niceleme: Sıkıştırılmış veri, mobil hızlandırıcıların tasarımına uyacak şekilde yapılandırıldı. Bu sayede telefon, yavaş geçici çözümlere ihtiyaç duymadan hesaplamaları yerel olarak çalıştırabilir.
- Hedefli 2-bit niceleme: Modelin token üreten belirli kısımları ağır bir şekilde (2-bit’e kadar) sıkıştırılırken, çekirdek muhakeme katmanları daha yüksek hassasiyette tutulur. Bu, modelin zekasını azaltmadan depolama alanı tasarrufu sağlar.
- Gömme (Embedding) ve KV önbellek optimizasyonu: Sıkıştırma, modelin kelime listesi ve kısa süreli belleği üzerine yoğunlaştırıldı. Bu, aktif bellek ayak izini önemli ölçüde azaltarak uzun sohbetler yapmaya olanak tanır.
Ayrıca, ses ve görüntü kodlayıcıların birçok kullanım durumunda gerekli olmaması nedeniyle, yalnızca ihtiyaç duyulan modaliteler dağıtılarak bellek ayak izi daha da optimize edilebilir. Örneğin, Gemma 4 E2B’nin metin odaklı modeli (katman başına gömmeler olmadan) 1 GB’tan daha az bellek gerektirir.
Bugün Başlayın
Gemma 4 QAT checkpoint’leri, popüler geliştirici araçları ekosistemiyle işbirliği içinde bugün itibarıyla sorunsuz bir şekilde desteklenmektedir:
- Ağırlıkları indirin: Q4_0 ve mobil model ağırlıklarına şimdi Hugging Face’den erişebilirsiniz. GGUF formatları llama.cpp için, sıkıştırılmış tensörler vLLM için hazır. Diğer durumlar için, Q4_0’ı destekleyen formatlara dönüştürülebilen nicelemesiz checkpoint’ler de mevcut.
- Entegre edin ve öğrenin: QAT checkpoint’lerinin en iyi nasıl dağıtılacağını öğrenmek için dokümantasyonumuzu inceleyin.
- Masaüstünüzde deneyin: llama.cpp, Ollama ve LM Studio gibi kullanıcı dostu arayüzlerle Gemma 4 QAT modellerini masaüstünüzde kolayca indirin, yönetin ve yerel olarak çalıştırın.
- Cihazda dağıtın: Optimize edilmiş edge dağıtımı için Google’ın hafif LiteRT-LM çalışma zamanını kullanın veya Transformers.js ile doğrudan web’de çalıştırın.
- Favori geliştirme araçlarınızı kullanın: SGLang ve vLLM ile daha büyük modelleri verimli bir şekilde sunun, MLX ile Apple Silicon için optimize edin. MTP QAT checkpoint’lerini kullanarak MTP hızını korurken modelleri niceleyin. Hugging Face Transformers ve Unsloth kullanarak ağırlıkları doğrudan ince ayar yapın.
Gemma 4’ü yerel olarak çalıştırarak neler inşa edeceğinizi görmek için sabırsızlanıyoruz!
