NL
15 oktober 2026 · Jakub M.
Mac Studio M5 Ultra met 256 GB en lokale AI: we hebben zes modellen gemeten
Hoeveel tokens per seconde levert een Mac Studio met M5 Ultra en 256 GB unified memory echt? We draaiden zes populaire open modellen van 9 tot 120 miljard parameters, met lege en lange context, en noteerden ook het geheugengebruik.
Benchmarks van Apple Silicon voor lokale taalmodellen tonen meestal één getal voor één model, zonder te zeggen hoe het tot stand kwam. Wij wilden volledige en herhaalbare cijfers, dus hebben we alle modellen op dezelfde manier gemeten en de methode opgeschreven.
Waarop en hoe we hebben gemeten
- Hardware: Mac Studio met Apple M5 Ultra, 256 GB unified memory en een SSD van 4 TB. Het is precies de machine die we verhuren.
- Software: macOS 27.0.1, Python 3.12 en mlx-lm 0.32, gebouwd op Apples framework MLX.
- Modellen: MLX-conversies van de organisatie mlx-community op Hugging Face, in 4-bitkwantisatie. De gpt-oss-modellen gebruiken MXFP4 voor de gewichten van de experts (varianten ‘MXFP4-Q8’), Gemma 4 31B is de QAT-versie in 4 bit.
- Test: 512 prompttokens gevolgd door 128 gegenereerde tokens, met 0, 8.192 en 32.768 tokens al in de context. Runs met lege context deden we twee keer en middelden we, de langere contexten één keer. De prompt bestaat uit willekeurige tokens. Met echte prompts en langere antwoorden kan de snelheid afwijken.
- Geheugen: de piekwaarde die MLX tijdens de test rapporteerde, inclusief modelgewichten en contextcache.
Resultaten
| Model | Type | Grootte | Gen., leeg | Gen., 8k | Gen., 32k | Geheugen, leeg | Geheugen, 32k |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | dense | 6,0 GB | 167 | 161 | 141 | 5,5 GB | 7,4 GB |
| gpt-oss-20b | MoE | 12,1 GB | 184 | 172 | 145 | 11,7 GB | 12,8 GB |
| Qwen3.5 27B | dense | 16,1 GB | 55 | 53 | 48 | 15,3 GB | 18,8 GB |
| Gemma 4 31B | dense | 28,8 GB | 31 | 27 | 21 | 26,6 GB | 31,5 GB |
| Qwen3.5 35B-A3B | MoE | 20,4 GB | 162 | 154 | 141 | 18,8 GB | 20,6 GB |
| gpt-oss-120b | MoE | 63,4 GB | 120 | 113 | 96 | 59,5 GB | 61,0 GB |
Generatiesnelheid in tokens per seconde. ‘Leeg’, ‘8k’ en ‘32k’ is het aantal tokens dat al in de context staat. Geheugen is de piekwaarde die MLX rapporteert. Dit zijn resultaten gemeten onder de genoemde omstandigheden, geen garantie: de werkelijke snelheid hangt af van model, kwantisatie, contextlengte, softwareconfiguratie en werklast.
Wat de cijfers zeggen
Mixture-of-experts-modellen zijn veel sneller
Het snelste model in de test is niet het kleinste. gpt-oss-20b genereert 184 tokens per seconde, en zelfs gpt-oss-120b komt op 120. Beide zijn mixture-of-experts-modellen (MoE): per token gebruiken ze maar een klein deel van hun parameters, volgens OpenAI ongeveer 3,6 miljard bij gpt-oss-20b en 5,1 miljard bij gpt-oss-120b. Qwen3.5 35B-A3B werkt op dezelfde manier met ongeveer 3 miljard actieve parameters en haalt 162 tokens per seconde.
Dense modellen gebruiken voor elk token alle parameters en zijn daardoor trager: Qwen3.5 27B genereert 55 tokens per seconde, Gemma 4 31B 31. Zelfs het traagste model in de test schrijft met 31 tokens per seconde sneller dan de meeste mensen lezen.
Een lange context kost 12 tot 32 procent
Met 32.768 tokens al in de context werd het genereren bij de meeste modellen 12 tot 21 procent trager. Gemma 4 31B verloor het meest, van 31 naar 21 tokens per seconde, ongeveer een derde. Werk je met lange documenten of grote codebases, dan is dit de kolom om naar te kijken.
256 GB laat veel ruimte
Het grootste geteste model, gpt-oss-120b, had met een context van 32k 61 GB nodig, minder dan een kwart van het geheugen. Volgens onze berekening is de rest genoeg voor veel grotere modellen, bijvoorbeeld Qwen3.5 122B-A10B (ongeveer 70 GB in 4 bit) of zelfs Qwen3.5 397B-A17B, waarvan de 4-bitbestanden 224 GB innemen. Die hebben we nog niet getest, en ook context en systeem hebben geheugen nodig. Bovendien kun je meerdere modellen naast elkaar draaien, bijvoorbeeld een groot model voor antwoorden en een klein model voor snelle routering of embeddings.
Wat we niet hebben gemeten
- Snelheid van promptverwerking. Onze korte test met 512 tokens gaf wisselende resultaten, ongeveer tussen 500 en 5.000 tokens per seconde afhankelijk van het model. Dat is genoeg om te zeggen dat een prompt vele malen sneller wordt ingelezen dan er wordt gegenereerd, maar niet voor precieze cijfers. Een langere meting volgt.
- Andere runtimes. We gebruikten alleen MLX. llama.cpp, Ollama of GGUF-modellen in LM Studio kunnen andere resultaten geven.
- Kwaliteit van antwoorden, verbruik en de grootste modellen (122B en 397B). Die staan als volgende op onze lijst.
Probeer het met je eigen werk
Cijfers uit andermans test zeggen nooit helemaal of een machine bij jouw werk past. Daarom verhuren we precies deze Mac Studio, al vanaf één dag, via SSH of extern bureaublad. Overweeg je er een te kopen, dan kun je er eerst je eigen modellen en gegevens op uitproberen.