NL
16 oktober 2026 · Jakub M.
Vijftien AI-modellen op de Mac Studio M5 Ultra: hoeveel tokens per seconde je echt krijgt
De Tsjechische techsite Vše Smart draaide 32 lokale taalmodellen op een Mac Studio met M5 Ultra en 256 GB geheugen. We kozen er vijftien uit, van het kleine Qwen3 4B tot Mistral Large met 123 miljard parameters, en bekeken wat de cijfers betekenen voor dagelijks werk.
Snelheidsvergelijkingen van lokale modellen houden meestal op na twee of drie namen. Het team van Vše Smart mat er tweeëndertig op een Mac Studio M5 Ultra met 256 GB unified memory, elk elf keer. Uit hun resultaten namen we vijftien modellen die het hele veld goed dekken: klein en groot, dense en mixture of experts.
Hoe er is gemeten
De modellen draaiden in Ollama, aangestuurd door een eenvoudig Python-script. Elk model kreeg dezelfde opdracht, een lange technische tekst over hoe moderne auto’s worden gebouwd, met een limiet van 2.000 uitvoertokens, temperatuur 0 en een context van 8.192 tokens. De eerste run van elk model werd als opwarmronde weggegooid, het resultaat is het gemiddelde van de volgende tien. Tussen de modellen zat een pauze van 30 seconden.
De hele test duurde ruim vier uur, en de modellen genereerden daarbij meer dan 700.000 tokens. Alleen de snelheid werd gemeten; de kwaliteit van de antwoorden beoordeelde de test niet.
Resultaten
| Model | Type | Generatiesnelheid |
|---|---|---|
| Qwen3 4B | dense | |
| Qwen3 30B-A3B | MoE, 3B actief | |
| gpt-oss-20b | MoE, 3,6B actief | |
| Qwen3.5 35B-A3B | MoE, 3B actief | |
| Qwen3.5 9B | dense | |
| gpt-oss-120b | MoE, 5,1B actief | |
| Gemma 4 26B-A4B | MoE, 4B actief | |
| Qwen3-Next 80B-A3B | MoE, 3B actief | |
| Qwen3.5 122B-A10B | MoE, 10B actief | |
| Llama 4 Scout | MoE, 17B actief | |
| Mistral Small 3.2 24B | dense | |
| Qwen3.5 27B | dense | |
| Gemma 4 31B | dense | |
| Llama 3.3 70B | dense | |
| Mistral Large 123B | dense |
Gemiddelde van tien runs in Ollama, 2.000 uitvoertokens, context 8k. MoE = mixture of experts; ‘actief’ is het aantal parameters dat voor elk token wordt gebruikt. Gegevens: Vše Smart. De resultaten uit Ollama zijn niet direct vergelijkbaar met onze MLX-metingen. Dit zijn resultaten gemeten onder de genoemde omstandigheden, geen garantie: de werkelijke snelheid hangt af van model, kwantisatie, contextlengte, softwareconfiguratie en werklast.
Grootte zegt weinig over snelheid
Het duidelijkste voorbeeld is gpt-oss-120b tegen Llama 3.3 70B. Het model van OpenAI heeft meer parameters (117 miljard tegen 70) en schrijft toch vijf keer zo snel: 115 tokens per seconde tegen 23. Het verschil zit in de architectuur. gpt-oss-120b is een mixture-of-experts-model en gebruikt per token maar ongeveer vijf miljard parameters. Llama 3.3 is dense en werkt elke keer alle zeventig miljard door.
Qwen laat hetzelfde zien. De versie 122B-A10B met tien miljard actieve parameters haalt 85 tokens per seconde, het dense Qwen3.5 27B, een kwart zo groot, komt op 48. Gaat het je om snelheid, dan zeggen de actieve parameters meestal meer dan de totale grootte, al spelen architectuur, kwantisatie en software ook mee.
Hoe snel is snel genoeg
Voor een normale chat voelt ongeveer 20 tokens per seconde meestal vloeiend aan. Van de vijftien modellen in de tabel zit alleen Mistral Large met 14 tokens per seconde daaronder. Het blijft nuttig voor taken waarbij niemand zit te wachten, zoals documenten ’s nachts verwerken.
Snelheid is veel belangrijker wanneer een programmeerassistent lange blokken code schrijft. Daar zijn modellen boven de 80 tokens per seconde zinvol, bijvoorbeeld gpt-oss-120b, Qwen3-Next 80B of Qwen3.5 122B.
Het klopt met onze eigen metingen
Verschillende van dezelfde modellen hebben we op onze eigen Mac Studio gemeten, met MLX in plaats van Ollama en een iets andere methode. De cijfers wijken enkele tot enkele tientallen procenten af, maar het totaalbeeld blijft. gpt-oss-120b gaf bij ons 120 tokens per seconde (Vše Smart: 115), gpt-oss-20b 184 (169) en Qwen3.5 27B 55 (48). Gemma 4 31B was bij ons trager, 31 tegen 40, omdat we een andere versie van het model gebruikten. Details staan in ons benchmarkartikel.
Probeer het zelf
Alle tweeëndertig modellen pasten met ruimte over in 256 GB geheugen. Overweeg je zo’n machine te kopen of heb je het vermogen maar een paar dagen nodig, dan kun je onze Mac Studio M5 Ultra met 256 GB huren.
Bron van de gegevens: Vše Smart: Mac Studio M5 Ultra getest met 32 lokale AI-modellen (Ludvík Eckerman, 5 oktober 2026, in het Tsjechisch).