NL
Hoeveel geheugen heeft een AI-model nodig?
Kies hoeveel geheugen je Mac heeft en zie welke open taalmodellen erop draaien. Of kies een model en zie hoeveel geheugen het nodig heeft.
We rekenen met 4-bitkwantisatie, gebruikelijk voor lokale modellen, en een context tot ongeveer 32.000 tokens: parameters × 4,5 bit ÷ 8, plus 10 % en 2 GB voor context en uitvoering. Standaard geeft een Mac de GPU ongeveer 67 % van het geheugen (tot 36 GB) of 75 % (boven 36 GB); die limiet kan omhoog. Dit zijn schattingen: het werkelijke gebruik hangt af van software en contextlengte. Op onze Mac Studio met 256 GB en macOS 27.2.1 is de GPU-limiet 240 GB, en die waarde gebruikt de calculator voor 256 GB.
Gegevens over de modellen: Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.
Zo schat de calculator het geheugen
Een taalmodel heeft geheugen nodig voor drie dingen: zijn gewichten, de context waarmee het werkt en de uitvoering zelf. De calculator telt ze zo op.
Gewichten
Bij 4-bitkwantisatie neemt elke parameter inclusief schaalfactoren ongeveer 4,5 bit in beslag, dus zo’n 0,56 GB per miljard parameters. Een 70B-model heeft daarmee alleen voor de gewichten ongeveer 39 GB nodig, een 120B-model ongeveer 66 GB.
Context en KV-cache
Voor elk token in de context houdt het model sleutels en waarden in het geheugen: de zogeheten KV-cache. Hoeveel ruimte die inneemt, hangt af van de architectuur van het model en groeit met de lengte van de context. De calculator telt 10% en 2 GB bij de gewichten op; voor de meeste modellen dekt dat een context tot ongeveer 32.000 tokens. Reken voor veel langere contexten op meer.
Waarom een Mac niet al zijn geheugen aan het model geeft
Bij Apple Silicon delen CPU en GPU één unified memory, en macOS houdt een deel voor het systeem. Hoeveel de GPU standaard mag gebruiken, hangt af van de Mac en de macOS-versie. Op onze Mac Studio met 256 GB en macOS 27.2.1 meldt Metal 240 GB, dus alles behalve 16 GB, en een model van 224 GB draaide zonder dat we iets hoefden in te stellen. Oudere macOS-versies en kleinere Macs gaven meestal zo’n twee derde tot driekwart, en daarvoor houdt de calculator deze voorzichtigere regel aan. De limiet kan omhoog (instelling iogpu.wired_limit_mb), maar dan blijft er minder over voor het systeem en andere apps. Daarom toont de calculator de status „Met verhoogde limiet” apart.
4, 8 of 16 bit
8-bitkwantisatie heeft ongeveer twee keer zoveel geheugen nodig als 4-bit, 16-bit (BF16) ongeveer vier keer zoveel. 4 bit is het gebruikelijke compromis voor lokaal gebruik: bij de meeste modellen is het kwaliteitsverlies klein, onder 4 bit neemt het sneller toe. Meer in ons artikel over hoeveel geheugen een taalmodel nodig heeft.
Schatting en meting
| Model | Schatting van de calculator | Gemeten piek | Kleinste Mac waarin het past |
|---|---|---|---|
| Qwen3 30B-A3B | 20,9 GB | 18,7 GB | 32 GB |
| Llama 3.3 70B | 45,7 GB | 43,3 GB | 64 GB |
| gpt-oss-120b | 74,4 GB | 64,5 GB | 128 GB |
Gemeten met mlx-lm 0.32.2 en een prompt van 8.192 tokens op een Mac Studio M5 Ultra, 11 november 2026. gpt-oss-120b gebruikt het MXFP4-formaat, iets kleiner dan de 4,5 bit waarmee de calculator rekent.
De schattingen zijn bewust voorzichtig: bij onze meting hadden alle drie de modellen iets minder nodig. Heb je een grote Mac maar een tijdje nodig, vergelijk dan huren en kopen van een Mac Studio M5 Ultra. Voor Qwen3.5 397B gebruikt de calculator in plaats van de schatting onze gemeten piek met 32k context (227,5 GB), zie onze test van dit model.