TR
Bir yapay zekâ modeli ne kadar bellek ister?
Mac’inizin belleğini seçin, üzerinde hangi açık dil modellerinin çalışacağını görün. Ya da bir model seçin, ne kadar bellek istediğini öğrenin.
Yerel modellerde yaygın olan 4 bit nicemleme ve yaklaşık 32 bin tokene kadar bağlamla hesaplıyoruz: parametre × 4,5 bit ÷ 8, artı bağlam ve çalışma için %10 ve 2 GB. Mac varsayılan olarak GPU’ya belleğin yaklaşık %67’sini (36 GB’a kadar) veya %75’ini (36 GB üstü) verir; bu limit artırılabilir. Bunlar tahmindir, gerçek kullanım yazılıma ve bağlam uzunluğuna bağlıdır. 256 GB'lık, macOS 27.2.1 çalıştıran Mac Studio'muzda GPU sınırı 240 GB'tır ve hesaplayıcı 256 GB için bu değeri kullanır.
Model verileri: Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.
Hesaplayıcı belleği nasıl tahmin eder
Bir dil modeli üç şey için bellek ister: ağırlıkları, üzerinde çalıştığı bağlam ve çalışmanın kendisi. Hesaplayıcı bunları şöyle toplar.
Ağırlıklar
4 bit nicemlemede her parametre, ölçekleme katsayılarıyla birlikte yaklaşık 4,5 bit yer kaplar; bu da milyar parametre başına yaklaşık 0,56 GB demektir. Yani 70B bir model yalnızca ağırlıkları için yaklaşık 39 GB, 120B bir model yaklaşık 66 GB ister.
Bağlam ve KV önbelleği
Model, bağlamdaki her token için anahtarları ve değerleri bellekte tutar; buna KV önbelleği denir. Ne kadar yer kapladığı modelin mimarisine bağlıdır ve bağlam uzadıkça artar. Hesaplayıcı ağırlıklara %10 ve 2 GB ekler; bu, çoğu model için yaklaşık 32 bin tokene kadar bağlamı karşılar. Çok daha uzun bağlamlar için daha fazlasını hesaba katın.
Mac neden belleğinin tamamını modele vermez
Apple Silicon'da CPU ve GPU tek bir birleşik belleği paylaşır ve macOS bir kısmını sistem için ayırır. GPU'nun varsayılan olarak ne kadar kullanabileceği Mac'e ve macOS sürümüne bağlıdır. 256 GB'lık, macOS 27.2.1 çalıştıran Mac Studio'muzda Metal 240 GB bildiriyor, yani 16 GB dışında belleğin tamamı; 224 GB'lık bir model hiçbir ayarı değiştirmeden çalıştı. Eski macOS sürümleri ve daha küçük Mac'ler genellikle yaklaşık üçte iki ile dörtte üç arasına izin veriyordu; hesaplayıcı bunlar için bu daha temkinli kuralı korur. Bu sınır yükseltilebilir (iogpu.wired_limit_mb ayarı), ancak sistem ve diğer uygulamalar için daha az bellek kalır. Bu yüzden hesaplayıcı „Limit artırılınca“ durumunu ayrıca gösterir.
4, 8 veya 16 bit
8 bit nicemleme 4 bitin yaklaşık iki katı, 16 bit (BF16) yaklaşık dört katı bellek ister. Yerel kullanım için 4 bit olağan bir uzlaşmadır: çoğu modelde kalite kaybı küçüktür, 4 bitin altında daha hızlı artar. Ayrıntılar bir dil modelinin ne kadar belleğe ihtiyaç duyduğu hakkındaki yazımızda.
Tahmin ve ölçüm
| Model | Hesaplayıcı tahmini | Ölçülen zirve | Sığdığı en küçük Mac |
|---|---|---|---|
| Qwen3 30B-A3B | 20,9 GB | 18,7 GB | 32 GB |
| Llama 3.3 70B | 45,7 GB | 43,3 GB | 64 GB |
| gpt-oss-120b | 74,4 GB | 64,5 GB | 128 GB |
11 Kasım 2026'da bir Mac Studio M5 Ultra'da mlx-lm 0.32.2 ve 8.192 tokenlik istemle ölçüldü. gpt-oss-120b, hesaplayıcının varsaydığı 4,5 bitten biraz küçük olan MXFP4 biçimini kullanır.
Tahminler bilerek temkinli tutuldu: ölçümümüzde üç model de biraz daha az bellek kullandı. Büyük bir Mac'e yalnızca bir süreliğine ihtiyacınız varsa Mac Studio M5 Ultra kiralamayı ve satın almayı karşılaştırın. Qwen3.5 397B için hesaplayıcı tahmin yerine 32k bağlamla ölçtüğümüz zirveyi (227,5 GB) kullanır; bkz. bu modeli test ettiğimiz yazı.