NL
26 oktober 2026 · Jakub M.
Mac Studio M5 Ultra getest: Qwen3 235B op 46 tokens per seconde en snel prompts inlezen
De Tsjechische techsite Vše Smart testte de Mac Studio M5 Ultra met 256 GB op vijf taalmodellen in llama.cpp en MLX. Het grootste, Qwen3 235B, nam 133 GB geheugen in en genereerde 46 tokens per seconde. Dit betekenen de resultaten als je grote modellen wilt draaien.
Bron: Mac Studio M5 Ultra v testu: Qwen3 235B a rychlost čtení promptů, Ludvík Eckerman, Vše Smart, 26 oktober 2026 (in het Tsjechisch). Alle cijfers hieronder komen uit dat artikel.
De Tsjechische site Vše Smart publiceerde een uitgebreide test van de Mac Studio met de M5 Ultra-chip. Het is dezelfde configuratie die wij verhuren: 80-core GPU en 256 GB unified memory. De test richt zich op twee dingen die onze eigen eerste benchmark niet behandelde: hoe snel de Mac lange prompts inleest, en een model dat te groot is voor een machine met 128 GB.
Hoe Vše Smart testte
- Hardware: Mac Studio M5 Ultra (80-core GPU), 256 GB, macOS 27.0.1, zonder dat er iets anders draaide.
- Software: llama.cpp met alle lagen op de GPU, en MLX 0.32 met mlx-lm. Vermogen en temperaturen vastgelegd met macmon.
- Modellen: Qwen3 8B, Qwen3 30B-A3B, Llama 3.3 70B, gpt-oss-120b en Qwen3 235B-A22B, allemaal in 4 bit (gpt-oss in MXFP4). Qwen3 235B alleen in MLX.
- Tests: prompts van 512, 4.096 en 16.384 tokens met 128 gegenereerde tokens, plus tien minuten continue belasting. Gemeten op 24 oktober 2026.
Resultaten
| Model | Geheugen | Generatie, llama.cpp | Generatie, MLX | Prompt 4k, llama.cpp | Prompt 4k, MLX |
|---|---|---|---|---|---|
| Qwen3 8B | ≈ 5 GB | 149 | 176 | 4.205 | 6.360 |
| Qwen3 30B-A3B | ≈ 18 GB | 172 | 159 | 4.535 | 9.870 |
| Llama 3.3 70B | ≈ 42 GB | 23 | 25 | 509 | 716 |
| gpt-oss-120b | ≈ 63 GB | 142 | 130 | 3.387 | 6.538 |
| Qwen3 235B-A22B | ≈ 133 GB | – | 46 | – | 1.656 |
Tokens per seconde met lege context: 128 tokens genereren en een prompt van 4.096 tokens inlezen. Qwen3 235B is alleen in MLX getest. Bron: Vše Smart, gemeten op 24 oktober 2026.
MLX leest prompts tot twee keer zo snel in
Voordat een model zijn eerste woord schrijft, moet het de hele prompt lezen, bijvoorbeeld een document dat je wilt laten samenvatten. Volgens Vše Smart las MLX prompts bij elk model 1,4 tot 2,2 keer sneller in dan llama.cpp; het verschil was het grootst bij Qwen3 30B-A3B. Met gpt-oss-120b in MLX is een document van 4.000 tokens in ruim minder dan een seconde ingelezen. Bij het genereren was geen van beide frameworks een duidelijke winnaar, dus het loont om ze allebei met je eigen model te proberen.
Een lange context
| Model | Generatie | Prompt inlezen |
|---|---|---|
| Qwen3 8B | 121 | 5.240 |
| Qwen3 30B-A3B | 115 | 6.822 |
| Llama 3.3 70B | 22 | 650 |
| gpt-oss-120b | 114 | 6.332 |
| Qwen3 235B-A22B | 33 | 1.289 |
MLX, prompt van 16.384 tokens gevolgd door 128 gegenereerde tokens, in tokens per seconde. Bron: Vše Smart.
Met een prompt van 16.384 tokens werd het genereren in MLX ongeveer 12 tot 31 procent trager, afhankelijk van het model.
Qwen3 235B heeft meer dan 128 GB nodig
Het grootste model nam ongeveer 133 GB geheugen in en genereerde ongeveer 46 tokens per seconde, sneller dan de meeste mensen lezen. Op een Mac met 128 GB zou het niet passen, en precies daar maakt de configuratie met 256 GB het verschil.
Temperaturen, vermogen en de M3 Ultra
De GPU piekte op 87 °C en de chip verbruikte tot 215 W tijdens het inlezen van prompts. De ventilator liep op tot 2.265 tpm, 62 procent van zijn maximum, en tijdens tien minuten continue belasting zag de test geen throttling. In de standaardtest van llama.cpp met Llama 2 7B (Q4_0) schat het artikel dat de M5 Ultra prompts ongeveer 3,5 keer sneller inleest en ongeveer twee keer zo snel genereert als de M3 Ultra. De auteur wijst erop dat de cijfers van de M3 Ultra uit de communitytabel van llama.cpp komen, gemeten met oudere versies, dus de vergelijking is slechts globaal.
Zoals het artikel opmerkt, meet de test snelheid en niet de kwaliteit van antwoorden, gebruikt hij alleen 4-bitkwantisatie en losse verzoeken, en rapporteert hij het vermogen van de chip, niet van het hele systeem.
Probeer het zelf
Je kunt een Mac Studio M5 Ultra met 256 GB huren vanaf één dag en er je eigen modellen op testen. Onze belastingtest van een uur laat zien hoe hij zich onder langdurige belasting gedraagt.