15. října 2026 · Jakub Mokříš
Mac Studio M5 Ultra s 256 GB a lokální AI: změřili jsme šest modelů
Kolik tokenů za sekundu reálně dává Mac Studio s čipem M5 Ultra a 256 GB sjednocené paměti? Změřili jsme šest oblíbených otevřených modelů od 9 do 120 miliard parametrů, s prázdným i dlouhým kontextem, a zapsali i spotřebu paměti.
Testy Apple Silicon pro lokální jazykové modely většinou ukazují jedno číslo u jednoho modelu a neříkají, jak vzniklo. Chtěli jsme čísla úplná a opakovatelná, proto jsme všechny modely měřili stejně a metodu sepsali.
Na čem a jak jsme měřili
- Hardware: Mac Studio s čipem Apple M5 Ultra, 256 GB sjednocené paměti a 4TB SSD. Je to přesně ten stroj, který pronajímáme.
- Software: macOS 27.0.1, Python 3.12 a mlx-lm 0.32, postavené na frameworku MLX od Applu.
- Modely: verze pro MLX od komunity mlx-community na Hugging Face ve 4bitové kvantizaci. Modely gpt-oss mají váhy expertů ve formátu MXFP4 (varianty „MXFP4-Q8“), Gemma 4 31B je ve 4bitové verzi QAT.
- Test: 512 tokenů promptu a po nich 128 generovaných tokenů, a to s 0, 8 192 a 32 768 tokeny už načtenými v kontextu. S prázdným kontextem jsme měřili dvakrát a výsledek zprůměrovali, s delším kontextem jednou. Prompt tvoří náhodné tokeny, protože na obsahu textu rychlost nezávisí.
- Paměť: špičková spotřeba hlášená knihovnou MLX během testu, včetně vah modelu a mezipaměti kontextu.
Výsledky
| Model | Typ | Velikost | Gen., prázdný | Gen., 8k | Gen., 32k | Paměť, prázdný | Paměť, 32k |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | dense | 6,0 GB | 167 | 161 | 141 | 5,5 GB | 7,4 GB |
| gpt-oss-20b | MoE | 12,1 GB | 184 | 172 | 145 | 11,7 GB | 12,8 GB |
| Qwen3.5 27B | dense | 16,1 GB | 55 | 53 | 48 | 15,3 GB | 18,8 GB |
| Gemma 4 31B | dense | 28,8 GB | 31 | 27 | 21 | 26,6 GB | 31,5 GB |
| Qwen3.5 35B-A3B | MoE | 20,4 GB | 162 | 154 | 141 | 18,8 GB | 20,6 GB |
| gpt-oss-120b | MoE | 63,4 GB | 120 | 113 | 96 | 59,5 GB | 61,0 GB |
Rychlost generování v tokenech za sekundu. „Prázdný“, „8k“ a „32k“ udává počet tokenů, které už jsou v kontextu. Paměť je špičková spotřeba hlášená knihovnou MLX.
Co z čísel vyplývá
Modely typu MoE jsou výrazně rychlejší
Nejrychlejší model v testu není ten nejmenší. gpt-oss-20b generuje 184 tokenů za sekundu a i gpt-oss-120b dosáhne 120. Oba jsou modely typu mixture-of-experts (MoE): pro každý token používají jen malou část svých parametrů, podle OpenAI zhruba 3,6 miliardy u gpt-oss-20b a 5,1 miliardy u gpt-oss-120b. Stejně funguje Qwen3.5 35B-A3B se zhruba 3 miliardami aktivních parametrů a dosahuje 162 tokenů za sekundu.
Husté (dense) modely používají pro každý token všechny parametry, a proto jsou pomalejší: Qwen3.5 27B generuje 55 tokenů za sekundu a Gemma 4 31B 31. Pro představu, kolem 20 tokenů za sekundu je už rychlejší, než většina lidí stíhá číst, takže i nejpomalejší model v testu je pro chat pohodlný.
Dlouhý kontext stojí 12 až 32 procent
S 32 768 tokeny v kontextu se generování u většiny modelů zpomalilo o 12 až 21 procent. Nejvíc ztratila Gemma 4 31B, z 31 na 21 tokenů za sekundu, tedy asi o třetinu. Pokud pracujete s dlouhými dokumenty nebo velkými projekty v kódu, sledujte hlavně tento sloupec.
256 GB nechává hodně místa
Největší testovaný model, gpt-oss-120b, potřeboval včetně kontextu 32k jen 61 GB, tedy necelou čtvrtinu paměti. Zbytek stačí na mnohem větší modely, například Qwen3.5 122B-A10B (zhruba 70 GB ve 4bitové verzi), nebo dokonce Qwen3.5 397B-A17B, jehož 4bitové soubory mají 224 GB. Vejde se i několik modelů vedle sebe, třeba velký model na odpovědi a malý na rychlé třídění dotazů nebo embeddingy.
Co jsme neměřili
- Rychlost zpracování promptu. Náš krátký test s 512 tokeny dával kolísavé výsledky, zhruba mezi 500 a 5 000 tokeny za sekundu podle modelu. To stačí na konstatování, že načtení promptu je mnohonásobně rychlejší než generování, ale ne na přesná čísla. Delší měření doplníme.
- Jiné programy. Měřili jsme jen přes MLX. llama.cpp, Ollama nebo modely GGUF v LM Studiu mohou dát jiné výsledky.
- Kvalitu odpovědí, spotřebu energie a největší modely (122B a 397B). Ty máme na řadě.
Vyzkoušejte si to na vlastní práci
Čísla z cizího testu nikdy úplně neodpoví na otázku, jestli se stroj hodí právě na vaši práci. Proto tenhle konkrétní Mac Studio pronajímáme, už od jednoho dne, přes SSH nebo vzdálenou plochu. Pokud zvažujete jeho koupi, můžete si na něm nejdřív vyzkoušet vlastní modely a data.