NL
22 oktober 2026 · Jakub M.
Een uur volle belasting op de Mac Studio M5 Ultra: wat een miljoen tokens kost
We lieten onze Mac Studio een heel uur lang tekst genereren met zestien AI-modellen tegelijk en legden elke tien seconden snelheid, vermogen en temperatuur vast. Hij genereerde 980.000 tokens zonder trager te worden, en een miljoen tokens kostte 0,074 kWh stroom.
Wat kost het eigenlijk om AI lokaal te draaien? Op onze Mac Studio met M5 Ultra en 256 GB geheugen, precies de machine die we verhuren, hebben we een test van een uur gedraaid en elke tien seconden de snelheid, het vermogen en de temperatuur van de chip vastgelegd.
Zo hebben we gemeten
- Hardware: Mac Studio met Apple M5 Ultra (36-core CPU, 80-core GPU), 256 GB unified memory, macOS 27.0.1. Tijdens de test draaide er verder niets op de machine.
- Model: gpt-oss-20b van OpenAI in de versie MXFP4-Q8 voor Apples MLX (MLX 0.32.4, mlx-lm 0.32.2). Het is een mixture-of-experts-model met 21 miljard parameters, waarvan er per token ongeveer 3,6 miljard worden gebruikt. Het neemt zo’n 12 GB geheugen in.
- Belasting: zestien afzonderlijke programma’s genereerden 60 minuten lang tegelijk tekst, elk met een eigen kopie van het model. Dat simuleert zestien gebruikers of AI-agents. Elke generatie was beperkt tot 2.000 tokens en begon dan opnieuw met dezelfde opdracht: een lang technisch artikel over hoe een automotor werkt.
- Meting: elke 10 seconden registreerden we het aantal gegenereerde tokens, het vermogen van de chip en de gemiddelde CPU- en GPU-temperatuur, uitgelezen uit macOS met macmon 0.10.0. De energie is het gemiddelde vermogen maal de tijd.
Resultaten
| Resultaat | |
|---|---|
| Duur van de test | 60 minuten |
| Parallelle streams | 16 |
| Gegenereerd | 980.000 tokens |
| Snelheid | 273 tokens per seconde |
| Snelheid, eerste / laatste zesde | 272 / 272 tok/s |
| Vermogen van de chip, gemiddeld (max.) | 73 W (76 W) |
| CPU-/GPU-temperatuur na stabilisatie | 63 / 66 °C |
| Hoogste CPU-/GPU-temperatuur | 66 / 70 °C |
| Energie per miljoen tokens | 0,074 kWh |
De grens is de snelheid van het geheugen, niet de rekenkracht
Bij het genereren van tekst wordt de Mac afgeremd door de geheugenbandbreedte, niet door de rekenkracht. Voor elk token moet de GPU het bijbehorende deel van het model uit het geheugen lezen, en hij is de meeste tijd bezig met wachten op gegevens. Daarom verbruikte de chip zelfs met zestien streams maar 73 W.
De zestien programma’s delen de GPU en elk leest zijn eigen kopie van het model. Samen genereerden ze 273 tokens per seconde, ongeveer 17 per stream. Voor iemand in een chat is dat traag, voor een groep agents op de achtergrond is het genoeg. Inferenceservers pakken het anders aan: ze verwerken verzoeken van veel gebruikers in een batch en lezen het model één keer voor iedereen, waardoor dezelfde Mac meer tokens per seconde haalt. Dat hebben we in deze test niet gemeten.
Temperaturen en stabiliteit
De GPU-temperatuur steeg in de vierde minuut naar 70 °C, daalde daarna en bleef vanaf de vijfde minuut op 66 °C. De CPU stabiliseerde op 63 °C. De ventilatoren hielden het bij zonder dat de chip hoefde te throttlen: zowel in het eerste als in het laatste zesde van de test genereerde de Mac 272 tokens per seconde.
Wat de stroom kost
Het uur onder volle belasting verbruikte 0,073 kWh. Een hele dag in deze modus zou ongeveer 1,75 kWh vragen, en een miljoen tokens kost 0,074 kWh. Bij € 0,25 per kWh is dat minder dan 2 cent per miljoen tokens en ongeveer 44 cent per dag. Bij lokale AI speelt stroom nauwelijks een rol; wat telt is de prijs van de computer.
Wat de test niet laat zien
- Verbruik van de hele computer. We hebben alleen de chip gemeten (CPU, GPU en Neural Engine). Ventilatoren, SSD, netwerk en verliezen in de voeding zijn niet meegenomen, dus aan het stopcontact is het verbruik iets hoger.
- Batchverwerking. Zestien afzonderlijke programma’s zijn niet hetzelfde als een server die veel gebruikers in een batch bedient.
- Grote modellen. gpt-oss-20b is klein en snel. Een dense model met 70 miljard parameters zou de Mac anders belasten en anders stroom trekken.
- Kwaliteit van de uitvoer. We hebben alleen snelheid en vermogen gemeten, niet wat het model schreef.
Dit zijn resultaten gemeten onder de genoemde omstandigheden, geen garantie: werkelijke snelheid en verbruik hangen af van model, kwantisatie, contextlengte, software en werklast.
Probeer het zelf
Wil je zien hoe je eigen model zich onder belasting gedraagt, dan kun je deze Mac Studio M5 Ultra met 256 GB al vanaf één dag huren. Meer metingen vind je in onze benchmark met zes modellen.