CS
12. listopadu 2026 · Jakub M.
Qwen3.5 397B na jednom Macu Studio M5 Ultra: 224 GB a 62 tokenů za sekundu
Model se 397 miliardami parametrů zabere ve 4 bitech asi 224 GB. Pustili jsme ho na jednom Macu Studio M5 Ultra s 256 GB: generoval kolem 62 tokenů za sekundu, zvládl kontext 128 tisíc tokenů a nevyžadoval žádnou změnu nastavení macOS.
Náš dosud největší test byl Qwen3 235B s asi 133 GB. Tentokrát jsme šli na hranu paměti Macu: Qwen3.5 397B-A17B, model typu mixture-of-experts se 397 miliardami parametrů, z nichž pro každý token pracuje asi 17 miliard. Ve 4bitovém formátu MLX zabere zhruba 224 GB.
Jak jsme měřili
- Hardware: Mac Studio s čipem Apple M5 Ultra (36jádrové CPU, 80jádrová GPU) a 256 GB jednotné paměti, macOS 27.2.1.
- Software: Python 3.12, MLX 0.32.4, mlx-lm 0.32.2, model
mlx-community/Qwen3.5-397B-A17B-4bit. - Test: vestavěný nástroj
mlx_lm.benchmark, prompt z náhodných tokenů s pevným semínkem a před každým měřením zahřívací běh. Prompty o 512 a 8 192 tokenech se 128 generovanými tokeny (tři a dvě opakování), pak delší prompty až do 131 072 tokenů se 64 generovanými tokeny (vždy jedno měření).
Výsledky
| Prompt (tokeny) | Zpracování promptu (tok/s) | Generování (tok/s) | Špička paměti |
|---|---|---|---|
| 512 | 159 | 61,6 | 224,3 GB |
| 8 192 | 1 265 | 59,9 | 226,8 GB |
| 16 384 | 1 432 | 58,3 | 227,0 GB |
| 32 768 | 1 500 | 55,1 | 227,5 GB |
| 65 536 | 1 345 | 50,3 | 228,5 GB |
| 131 072 | 1 080 | 44,1 | 230,6 GB |
Qwen3.5 397B-A17B, 4bitové MLX (mlx-community), mlx-lm 0.32.2, macOS 27.2.1, měřeno 12. listopadu 2026. 512 a 8 192 tokenů: 128 generovaných tokenů, průměr 3 a 2 opakování; delší prompty: 64 generovaných tokenů, jedno měření. Hodnota u promptu 512 tokenů mezi opakováními kolísala (141 až 195 tok/s).
Bez změny nastavení
Čekali jsme, že se model se standardním nastavením nevejde. Starší verze macOS dávaly grafice jen asi tři čtvrtiny paměti, u Macu s 256 GB tedy kolem 192 GB. Na našem Macu s macOS 27.2.1 ale Metal hlásí doporučený limit 240 GB (257,7 miliardy bajtů), tedy všechno kromě 16 GB. Model běžel se standardním nastavením stejně rychle jako s ručně nastaveným limitem, swap zůstal pod 45 MB a macOS celou dobu hlásil normální zatížení paměti. Stejných 240 GB jsme naměřili i na našem druhém Macu s 256 GB. Podle toho jsme upravili i naši kalkulačku RAM.
Pro nájemce je to důležité: nemají práva správce, takže by si limit sami zvýšit nemohli. Na těchto Macích to nepotřebují.
Dlouhý kontext stojí málo paměti
Mezi promptem o 512 tokenech a promptem o 131 072 tokenech vzrostla špičková spotřeba paměti jen asi o 6 GB, z 224,3 na 230,6 GB. I při nejdelším kontextu tak zůstalo pro systém volných přes 25 GB. Rychlost s délkou kontextu klesá: generování šlo z 62 na 44 tokenů za sekundu, což je pro čtení pořád pohodlné tempo.
Větší, a přitom rychlejší
V našem říjnovém testu generoval Qwen3 235B 46 tokenů za sekundu s prázdným kontextem a 33 s promptem o 16 384 tokenech. Qwen3.5 397B je skoro dvakrát větší, a přesto ve srovnatelných situacích generuje asi 62 a 58 tokenů za sekundu. Důvodem je menší počet aktivních parametrů na token: zhruba 17 miliard místo 22. Říjnový test běžel se starší verzí softwaru a trochu jinou metodou, srovnání proto berte jako orientační.
Příkon
Během testu měl čip (CPU a GPU) příkon nejvýš asi 104 W, měřeno nástrojem powermetrics ve 2sekundových vzorcích. Průměr neuvádíme, protože měření zahrnovalo i načítání modelu a pauzy.
Omezení testu
Měřili jsme jeden model na jednom Macu s jednotlivými požadavky. Prompt z náhodných tokenů dává čistě výkonová čísla, u skutečných úloh se rychlost může lišit. Test neměří kvalitu odpovědí a 4bitová verze může odpovídat o něco hůř než plný model.
Vyzkoušejte si to sami
Pokud chcete model této velikosti rozjet bez nákupu Macu za přes 300 tisíc korun, můžete si pronajmout Mac Studio M5 Ultra s 256 GB už na jeden den.