TR
12 Kasım 2026 · Jakub M.
Tek bir Mac Studio M5 Ultra'da Qwen3.5 397B: 224 GB ve saniyede 62 token
397 milyar parametreli bir model 4 bitte yaklaşık 224 GB yer kaplar. Onu 256 GB'lık tek bir Mac Studio M5 Ultra'da çalıştırdık: saniyede yaklaşık 62 token üretti, 128 bin tokenlik bağlamı kaldırdı ve hiçbir macOS ayarını değiştirmeyi gerektirmedi.
Şimdiye kadarki en büyük testimiz yaklaşık 133 GB'lık Qwen3 235B idi. Bu kez Mac'in belleğinin sınırına gittik: Qwen3.5 397B-A17B, 397 milyar parametreli bir mixture-of-experts modeli; her token için bunların yaklaşık 17 milyarı çalışıyor. 4 bit MLX biçiminde yaklaşık 224 GB yer kaplıyor.
Nasıl ölçtük
- Donanım: Apple M5 Ultra (36 çekirdekli CPU, 80 çekirdekli GPU) ve 256 GB birleşik belleğe sahip Mac Studio, macOS 27.2.1.
- Yazılım: Python 3.12, MLX 0.32.4, mlx-lm 0.32.2, model
mlx-community/Qwen3.5-397B-A17B-4bit. - Test: yerleşik
mlx_lm.benchmarkaracı, sabit tohumlu rastgele tokenlerden oluşan istem ve her ölçümden önce bir ısınma çalıştırması. 512 ve 8.192 tokenlik istemlerle 128 token üretildi (üç ve iki tekrar), ardından 131.072 tokene kadar daha uzun istemlerle 64 token üretildi (her biri tek ölçüm).
Sonuçlar
| İstem (token) | İstem işleme (tok/sn) | Üretim (tok/sn) | Bellek zirvesi |
|---|---|---|---|
| 512 | 159 | 61,6 | 224,3 GB |
| 8.192 | 1.265 | 59,9 | 226,8 GB |
| 16.384 | 1.432 | 58,3 | 227,0 GB |
| 32.768 | 1.500 | 55,1 | 227,5 GB |
| 65.536 | 1.345 | 50,3 | 228,5 GB |
| 131.072 | 1.080 | 44,1 | 230,6 GB |
Qwen3.5 397B-A17B, 4 bit MLX (mlx-community), mlx-lm 0.32.2, macOS 27.2.1, 12 Kasım 2026'da ölçüldü. 512 ve 8.192 token: 128 token üretildi, 3 ve 2 tekrarın ortalaması; daha uzun istemler: 64 token üretildi, tek ölçüm. 512 tokenlik istemdeki değer tekrarlar arasında değişti (141 ile 195 tok/sn arası).
Hiçbir ayar gerekmedi
Modelin varsayılan ayarlarla sığmayacağını düşünüyorduk. Eski macOS sürümleri GPU'nun belleğin yalnızca yaklaşık dörtte üçünü kullanmasına izin veriyordu; bu da 256 GB'lık bir Mac'te yaklaşık 192 GB eder. Ancak macOS 27.2.1 çalıştıran Mac'imizde Metal, 240 GB (257,7 milyar bayt) önerilen sınır bildiriyor; yani 16 GB dışında belleğin tamamı. Model varsayılan ayarlarla, sınır elle ayarlandığındaki kadar hızlı çalıştı; swap 45 MB'ın altında kaldı ve macOS boyunca normal bellek baskısı bildirdi. Aynı 240 GB değerini 256 GB'lık ikinci Mac'imizde de ölçtük. RAM hesaplayıcımızı da buna göre güncelledik.
Kiralayanlar için bu önemli: yönetici yetkileri yok, dolayısıyla sınırı kendileri yükseltemezler. Bu Mac'lerde buna gerek yok.
Uzun bağlam az bellek ister
512 tokenlik istemden 131.072 tokenlik isteme kadar en yüksek bellek kullanımı yalnızca yaklaşık 6 GB arttı, 224,3'ten 230,6 GB'a. En uzun bağlamda bile sistem için 25 GB'tan fazla boş kaldı. Hız ise bağlam uzadıkça düşüyor: üretim saniyede 62 tokenden 44 tokene indi; bu hâlâ okumak için rahat bir tempo.
Daha büyük ama daha hızlı
Ekim ayındaki testimizde Qwen3 235B boş bağlamla saniyede 46, 16.384 tokenlik istemle 33 token üretiyordu. Qwen3.5 397B neredeyse iki kat büyük olmasına rağmen benzer durumlarda saniyede yaklaşık 62 ve 58 token üretiyor. Nedeni token başına daha az etkin parametre: 22 milyar yerine yaklaşık 17 milyar. Ekim testi daha eski bir yazılım sürümüyle ve biraz farklı bir yöntemle yapıldı; karşılaştırmayı yalnızca fikir vermesi için değerlendirin.
Güç
Test sırasında çip (CPU ve GPU) en fazla yaklaşık 104 W çekti; powermetrics ile 2 saniyelik örneklerle ölçüldü. Ölçüm modelin yüklenmesini ve duraklamaları da kapsadığı için ortalama vermiyoruz.
Testin sınırları
Bir Mac'te bir modeli tekil isteklerle ölçtük. Rastgele tokenlerden oluşan istem saf hız rakamları verir; gerçek işlerde hız farklı olabilir. Test yanıtların kalitesini ölçmez ve 4 bit sürüm tam modelden biraz daha zayıf yanıt verebilir.
Kendiniz deneyin
12.000 €'nun üzerinde bir Mac satın almadan bu boyutta bir model çalıştırmak istiyorsanız 256 GB'lık bir Mac Studio M5 Ultra kiralayabilirsiniz, bir günden itibaren.