TR
20 Ekim 2026 · Jakub M.
Bir dil modeli ne kadar bellek ister? 7B'den 405B'ye bir tablo
70B bir model 64 GB'a sığar mı? Peki 235B? Farklı boyutlardaki dil modellerinin ne kadar bellek kapladığını, bağlamın ne kadar eklediğini ve hangi Mac'in neye yettiğini hesapladık.
Bir modelin belleğe sığıp sığmadığı basit bir hesaptır. Parametre sayısını parametre başına bit sayısıyla çarpın ve sekize bölün. 70 milyar parametreli bir model tam FP16 hassasiyetinde (16 bit) 140 GB, 8 bitte bunun yaklaşık yarısını, 4 bitte yaklaşık dörtte birini kaplar. Yerel modellerde 4 bit nicemleme artık normdur.
Ağırlıklar ne kadar yer kaplar
| Boyut | Örnek modeller | 4 bit | 8 bit | FP16 (nicemlenmemiş) |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4,5 GB | ≈ 8,5 GB | ≈ 16 GB |
| 14B | Qwen3 14B | ≈ 8 GB | ≈ 15 GB | ≈ 28 GB |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 GB | ≈ 34 GB | ≈ 64 GB |
| 70B | Llama 3.3 70B | ≈ 39 GB | ≈ 74 GB | ≈ 140 GB |
| 117B | gpt-oss-120b | ≈ 66 GB | ≈ 124 GB | ≈ 234 GB |
| 235B | Qwen3 235B-A22B | ≈ 132 GB | ≈ 250 GB | ≈ 470 GB |
| 405B | Llama 3.1 405B | ≈ 228 GB | ≈ 430 GB | ≈ 810 GB |
Yalnızca model ağırlıkları, yuvarlanmış. Her değere bağlam için bellek ve 1–2 GB ek yük ekleyin. Uygulamada 4 bit nicemleme parametre başına yaklaşık 4,5 bit tutar, çünkü ölçek değerleri de saklanır.
Bağlam ek bellek ister
Model, ağırlıkların yanında üzerinde çalıştığı metni de bellekte tutar; buna KV önbelleği denir. Bağlamdaki her tokenla büyür. Llama 3.1 8B için token başına yaklaşık 128 KB'tır; yani 32.000 tokenlık bir bağlam yaklaşık 4 GB, tam 128.000 ise yaklaşık 16 GB ekler. Llama 3.3 70B için token başına 320 KB'tır: 32k fazladan 10 GB, 128k ise tam 40 GB demektir.
Yeni modeller daha tutumludur. Mac Studio'muzda gpt-oss-120b, boş bağlam ile 32k arasında yalnızca 1,5 GB büyüdü, çünkü katmanlarının yarısı yalnızca son 128 tokena bakar. Gemma 4 31B 4,9 GB büyüdü. Ayrıntılı sayılar ölçümümüzde.
MoE modelleri: bellek bütün için, hız bir parça için
gpt-oss-120b veya Qwen3 235B-A22B gibi uzmanlar karışımı (MoE) modelleri her token için parametrelerinin yalnızca bir kısmını kullanır; bu da onları genellikle aynı toplam boyuttaki yoğun bir modelden çok daha hızlı yapar. Ancak modelin tamamı bellekte olmalıdır. 22 milyar aktif parametreli 235B bir MoE modeli bu yüzden 235B'lik bir model kadar yer kaplar, hızı ise çok daha küçük bir modelinkine yakındır. Ne kadar yakın olduğu; mimariye, uzman yönlendirmesine, nicemlemeye, bağlam uzunluğuna ve kullandığınız yazılıma bağlıdır.
Model, Mac'in belleğinin ne kadarını gerçekten alır
Mac'te ayrı bir grafik belleği yoktur: CPU ve GPU tek bir havuzu paylaşır. Ancak macOS varsayılan olarak GPU'nun tamamını almasına izin vermez ve sistem için bir pay ayırır. Sınırı, bir sonraki yeniden başlatmaya kadar geçerli olan bir komutla yükseltebilirsiniz:
sudo sysctl iogpu.wired_limit_mb=240000Değer megabayt cinsindendir. Sisteme en az 8–16 GB bırakmak akıllıca olur. Kiralanan Mac'te hesabınızın yönetici yetkisi yoktur; bu nedenle bu sınırı istek üzerine sizin için biz ayarlarız.
| Mac belleği | Modele kabaca kalan | Rahatça sığan |
|---|---|---|
| 16 GB | 10–11 GB | 4 bit 7–8B |
| 32 GB | 21–24 GB | 4 bit 14B, kısa bağlamla 27–32B |
| 64 GB | 48 GB | orta bağlamla 4 bit 70B, 8 bit 32B |
| 128 GB | 96 GB | 4 bit 117B MoE (gpt-oss-120b), 8 bit 70B |
| 256 GB | 192 GB, sınır yükseltilince ~240 GB'a kadar | 4 bit 235B, 3 bit 405B veya aynı anda birkaç model |
macOS'in GPU için varsayılan sınırına göre tahmin; kesin değer sistem sürümüne göre değişir.
Nicemleme kaliteden ne kadar götürür
Nicemlenmiş bir modelin ne kadar kalite kaybettiği modele ve göreve bağlıdır, bu yüzden kendi işinizde test edin. Kabaca, 8 bit sürümler genellikle tam hassasiyete çok yakındır; 4 bit sürümler biraz daha fazla kaybeder ve yerel çalıştırma için yaygın uzlaşmadır. 4 bitin altında düşüş, özellikle küçük modellerde daha belirgin olma eğilimindedir. 405B gibi çok büyük modellerde 3 bit bir sürüm yine de mantıklı olabilir, çünkü daha kaba nicemlenmiş büyük bir model bazen daha yüksek hassasiyetli küçük bir modeli geçer.
Kısacası
- 4 bitte milyar parametre başına kabaca 0,56 GB hesaplayın, artı bağlam ve birkaç GB ek yük.
- Uzun bir bağlam onlarca GB tutabilir, yeni modellerde çok daha az.
- MoE modellerinde belleği toplam boyut belirler. Aktif kısım hız üzerinde büyük etkiye sahiptir, ancak tek etken değildir.
Kendi Mac'iniz yetmezse, 256 GB'lık Mac Studio M5 Ultra'mız bağlam ve sistem için yer bıraktığınız sürece 4 bit bir 235B modeli, 3 bit 405B'yi veya aynı anda birkaç küçük modeli taşıyabilmelidir. Bunlar tahmindir, bu yüzden uzun bir kiralamadan önce modelinizi deneyin. İstek üzerine GPU sınırını sizin için yükseltebiliriz.