NL
20 oktober 2026 · Jakub M.
Hoeveel geheugen heeft een taalmodel nodig? Een tabel van 7B tot 405B
Past een 70B-model in 64 GB? En 235B? We hebben berekend hoeveel geheugen taalmodellen van verschillende groottes innemen, hoeveel de context daarbij optelt en welke Mac waarvoor volstaat.
Of een model in het geheugen past, is een eenvoudige rekensom. Vermenigvuldig het aantal parameters met het aantal bits per parameter en deel door acht. Een model met 70 miljard parameters neemt in volle FP16-precisie (16 bit) 140 GB in, in 8 bit ongeveer de helft en in 4 bit ongeveer een kwart. Voor lokale modellen is 4-bitkwantisatie tegenwoordig de standaard.
Hoeveel de gewichten innemen
| Grootte | Voorbeeldmodellen | 4 bit | 8 bit | FP16 (niet gekwantiseerd) |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4,5 GB | ≈ 8,5 GB | ≈ 16 GB |
| 14B | Qwen3 14B | ≈ 8 GB | ≈ 15 GB | ≈ 28 GB |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 GB | ≈ 34 GB | ≈ 64 GB |
| 70B | Llama 3.3 70B | ≈ 39 GB | ≈ 74 GB | ≈ 140 GB |
| 117B | gpt-oss-120b | ≈ 66 GB | ≈ 124 GB | ≈ 234 GB |
| 235B | Qwen3 235B-A22B | ≈ 132 GB | ≈ 250 GB | ≈ 470 GB |
| 405B | Llama 3.1 405B | ≈ 228 GB | ≈ 430 GB | ≈ 810 GB |
Alleen de modelgewichten, afgerond. Bij elke waarde komen geheugen voor de context en 1–2 GB overhead. In de praktijk kost een 4-bitkwantisatie ongeveer 4,5 bit per parameter, omdat ook de schaalfactoren worden opgeslagen.
De context kost extra geheugen
Naast de gewichten houdt het model de tekst waaraan het werkt in het geheugen, de zogeheten KV-cache. Die groeit met elk token context. Bij Llama 3.1 8B is dat ongeveer 128 KB per token, dus een context van 32.000 tokens kost zo’n 4 GB extra en de volle 128.000 ongeveer 16 GB. Bij Llama 3.3 70B is het 320 KB per token: 32k betekent 10 GB meer, 128k maar liefst 40 GB.
Nieuwere modellen zijn zuiniger. Op onze Mac Studio groeide gpt-oss-120b tussen lege context en 32k maar 1,5 GB, omdat de helft van zijn lagen alleen naar de laatste 128 tokens kijkt. Gemma 4 31B groeide 4,9 GB. De precieze cijfers staan in onze meting.
MoE-modellen: geheugen voor het geheel, snelheid voor een deel
Mixture-of-experts-modellen (MoE) zoals gpt-oss-120b of Qwen3 235B-A22B gebruiken per token maar een deel van hun parameters, waardoor ze meestal veel sneller zijn dan een dense model van dezelfde totale grootte. In het geheugen moet wel het hele model staan. Een 235B-MoE-model met 22 miljard actieve parameters neemt dus evenveel ruimte in als een 235B-model, terwijl zijn snelheid eerder die van een veel kleiner model benadert. Hoe dicht hangt af van architectuur, routering van de experts, kwantisatie, contextlengte en de gebruikte software.
Hoeveel van het Mac-geheugen het model echt krijgt
Een Mac heeft geen apart grafisch geheugen: CPU en GPU delen één geheugen. Standaard laat macOS de GPU echter niet alles nemen en houdt het een reserve voor het systeem. De limiet kun je verhogen met een opdracht die geldt tot de volgende herstart:
sudo sysctl iogpu.wired_limit_mb=240000De waarde is in megabytes. Laat het systeem verstandig genoeg minstens 8–16 GB. Op een gehuurde Mac heeft je account geen beheerdersrechten; deze limiet stellen wij daarom op verzoek voor je in.
| Geheugen van de Mac | Ongeveer beschikbaar voor het model | Wat er comfortabel in past |
|---|---|---|
| 16 GB | 10–11 GB | 7–8B in 4 bit |
| 32 GB | 21–24 GB | 14B in 4 bit, 27–32B met kortere context |
| 64 GB | 48 GB | 70B in 4 bit met middelgrote context, 32B in 8 bit |
| 128 GB | 96 GB | 117B MoE (gpt-oss-120b) in 4 bit, 70B in 8 bit |
| 256 GB | 192 GB, na verhogen van de limiet tot ~240 GB | 235B in 4 bit, 405B in 3 bit of meerdere modellen tegelijk |
Schatting op basis van de standaardlimiet van macOS voor de GPU; de exacte waarde hangt af van de systeemversie.
Hoeveel kwaliteit kwantisatie kost
Hoeveel kwaliteit een gekwantiseerd model verliest, hangt af van het model en de taak, dus test het op je eigen werk. Als ruwe richtlijn: 8-bitversies liggen meestal heel dicht bij volle precisie, 4-bitversies verliezen iets meer en zijn het gebruikelijke compromis voor lokaal gebruik. Onder 4 bit wordt de achteruitgang meestal duidelijker, vooral bij kleinere modellen. Bij heel grote modellen zoals 405B kan een 3-bitversie toch zinvol zijn, want een groter model met grovere kwantisatie verslaat soms een kleiner model met hogere precisie.
Kort gezegd
- Reken bij 4 bit op ongeveer 0,56 GB per miljard parameters, plus context en enkele GB overhead.
- Een lange context kan tientallen GB innemen, bij nieuwere modellen veel minder.
- Bij MoE-modellen bepaalt de totale grootte de geheugenbehoefte. Het actieve deel heeft veel invloed op de snelheid, maar is niet de enige factor.
Is je eigen Mac niet genoeg, dan zou onze Mac Studio M5 Ultra met 256 GB een 235B-model in 4 bit, 405B in 3 bit of meerdere kleinere modellen tegelijk moeten kunnen bevatten, zolang je ruimte laat voor context en systeem. Dit zijn schattingen, dus probeer je model uit vóór een langere huur. Op verzoek verhogen we de GPU-limiet voor je.