TR
15 Ekim 2026 · Jakub M.
256 GB Mac Studio M5 Ultra ve yerel yapay zekâ: Altı modeli ölçtük
M5 Ultra ve 256 GB birleşik belleğe sahip bir Mac Studio saniyede gerçekte kaç token veriyor? 9 ile 120 milyar parametre arasındaki altı popüler açık modeli boş ve uzun bağlamla çalıştırdık ve bellek kullanımını da kaydettik.
Yerel dil modelleri için Apple Silicon testleri genellikle tek bir model için tek bir sayı gösterir ve nasıl ölçüldüğünü söylemez. Biz eksiksiz ve tekrarlanabilir sayılar istedik, bu yüzden tüm modelleri aynı şekilde ölçtük ve yöntemi yazdık.
Neyle ve nasıl ölçtük
- Donanım: Apple M5 Ultra, 256 GB birleşik bellek ve 4 TB SSD'li Mac Studio. Kiraladığımız makinenin ta kendisi.
- Yazılım: macOS 27.0.1, Python 3.12 ve Apple'ın MLX çerçevesi üzerine kurulu mlx-lm 0.32.
- Modeller: Hugging Face'teki mlx-community kuruluşunun 4 bit nicemlenmiş MLX dönüşümleri. gpt-oss modelleri uzman ağırlıkları için MXFP4 kullanır (“MXFP4-Q8” varyantları), Gemma 4 31B ise QAT 4 bit sürümdür.
- Test: 512 istem tokenı ve ardından 128 üretilen token; bağlamda zaten 0, 8.192 ve 32.768 token varken. Boş bağlamlı çalıştırmalar iki kez yapılıp ortalaması alındı, uzun bağlamlar bir kez. İstem rastgele tokenlardan oluşur. Gerçek istemler ve daha uzun yanıtlarla hız farklı olabilir.
- Bellek: test sırasında MLX'in bildirdiği, model ağırlıkları ve bağlam önbelleği dahil en yüksek bellek kullanımı.
Sonuçlar
| Model | Tür | Boyut | Üretim, boş | Üretim, 8k | Üretim, 32k | Bellek, boş | Bellek, 32k |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | yoğun | 6,0 GB | 167 | 161 | 141 | 5,5 GB | 7,4 GB |
| gpt-oss-20b | MoE | 12,1 GB | 184 | 172 | 145 | 11,7 GB | 12,8 GB |
| Qwen3.5 27B | yoğun | 16,1 GB | 55 | 53 | 48 | 15,3 GB | 18,8 GB |
| Gemma 4 31B | yoğun | 28,8 GB | 31 | 27 | 21 | 26,6 GB | 31,5 GB |
| Qwen3.5 35B-A3B | MoE | 20,4 GB | 162 | 154 | 141 | 18,8 GB | 20,6 GB |
| gpt-oss-120b | MoE | 63,4 GB | 120 | 113 | 96 | 59,5 GB | 61,0 GB |
Üretim hızı, saniyedeki token sayısıdır. “Boş”, “8k” ve “32k”, bağlamda zaten bulunan token sayısıdır. Bellek, MLX'in bildirdiği en yüksek değerdir. Bunlar yukarıdaki koşullarda ölçülen sonuçlardır, garanti değildir: gerçek hız; modele, nicemlemeye, bağlam uzunluğuna, yazılım yapılandırmasına ve iş yüküne bağlıdır.
Sayılar ne söylüyor
Uzmanlar karışımı modelleri çok daha hızlı
Testteki en hızlı model en küçüğü değil. gpt-oss-20b saniyede 184 token üretiyor, gpt-oss-120b bile 120'ye ulaşıyor. İkisi de uzmanlar karışımı (MoE) modelidir: Her token için parametrelerinin yalnızca küçük bir kısmını kullanırlar; OpenAI'a göre gpt-oss-20b için yaklaşık 3,6 milyar, gpt-oss-120b için 5,1 milyar. Qwen3.5 35B-A3B de yaklaşık 3 milyar aktif parametreyle aynı şekilde çalışır ve saniyede 162 tokena ulaşır.
Yoğun modeller her token için tüm parametrelerini kullanır, bu yüzden daha yavaştır: Qwen3.5 27B saniyede 55, Gemma 4 31B 31 token üretir. Testteki en yavaş model bile saniyede 31 tokenla çoğu insanın okuduğundan daha hızlı yazar.
Uzun bağlamın bedeli yüzde 12 ile 32
Bağlamda zaten 32.768 token varken üretim, çoğu modelde yüzde 12 ile 21 arasında yavaşladı. En çok kaybeden, saniyede 31'den 21 tokena, yani yaklaşık üçte bir oranında düşen Gemma 4 31B oldu. Uzun belgelerle veya büyük kod tabanlarıyla çalışıyorsanız bakmanız gereken sütun budur.
256 GB bolca yer bırakıyor
Test ettiğimiz en büyük model olan gpt-oss-120b, 32k bağlam dahil 61 GB'a ihtiyaç duydu; belleğin dörtte birinden az. Hesabımıza göre kalan alan çok daha büyük modeller için yeterli; örneğin Qwen3.5 122B-A10B (4 bitte yaklaşık 70 GB) veya hatta 4 bit dosyaları 224 GB tutan Qwen3.5 397B-A17B. Bunları henüz test etmedik; ayrıca bağlam ve sistem de belleğe ihtiyaç duyar. Ayrıca birkaç modeli yan yana çalıştırmak da mümkün, örneğin yanıtlar için büyük bir model ve hızlı yönlendirme ya da gömmeler için küçük bir model.
Neleri ölçmedik
- İstem işleme hızı. 512 tokenlık kısa testimiz dalgalı sonuçlar verdi, modele göre saniyede kabaca 500 ile 5.000 token arası. Bu, istem okumanın üretmekten kat kat hızlı olduğunu söylemeye yeter, ancak kesin sayılar için yetmez. Daha uzun bir ölçüm ekleyeceğiz.
- Diğer çalışma ortamları. Yalnızca MLX kullandık. llama.cpp, Ollama veya LM Studio'daki GGUF modelleri farklı sonuçlar verebilir.
- Yanıt kalitesi, güç tüketimi ve en büyük modeller (122B ve 397B). Listemizde sırada bunlar var.
Kendi iş yükünüzle deneyin
Başkasının testindeki sayılar, bir makinenin sizin işinize uygun olup olmadığını hiçbir zaman tam olarak yanıtlamaz. Bu yüzden tam olarak bu Mac Studio'yu bir günden itibaren, SSH veya uzak masaüstü üzerinden kiralıyoruz. Satın almayı düşünüyorsanız, önce kendi modellerinizi ve verilerinizi üzerinde çalıştırabilirsiniz.