CS
20. října 2026 · Jakub M.
Kolik paměti potřebuje jazykový model: tabulka od 7B po 405B
Vejde se 70B model do 64 GB? A co 235B? Spočítali jsme, kolik paměti zabírají jazykové modely různých velikostí, kolik si vezme kontext a který Mac na co stačí.
Na otázku, jestli se model vejde do paměti, existuje jednoduchý výpočet. Počet parametrů vynásobíte počtem bitů na parametr a vydělíte osmi. Model se 70 miliardami parametrů tak v plné přesnosti FP16 (16 bitů) zabere 140 GB, v 8bitové verzi zhruba polovinu a ve 4bitové zhruba čtvrtinu. U lokálních modelů je dnes standard právě 4bitová kvantizace.
Kolik zaberou samotné váhy
| Velikost | Příklady modelů | 4bitová | 8bitová | FP16 (bez komprese) |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4,5 GB | ≈ 8,5 GB | ≈ 16 GB |
| 14B | Qwen3 14B | ≈ 8 GB | ≈ 15 GB | ≈ 28 GB |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 GB | ≈ 34 GB | ≈ 64 GB |
| 70B | Llama 3.3 70B | ≈ 39 GB | ≈ 74 GB | ≈ 140 GB |
| 117B | gpt-oss-120b | ≈ 66 GB | ≈ 124 GB | ≈ 234 GB |
| 235B | Qwen3 235B-A22B | ≈ 132 GB | ≈ 250 GB | ≈ 470 GB |
| 405B | Llama 3.1 405B | ≈ 228 GB | ≈ 430 GB | ≈ 810 GB |
Jen váhy modelu, zaokrouhleno. Ke každému číslu připočtěte paměť na kontext a 1–2 GB režie. 4bitová kvantizace zabere v praxi kolem 4,5 bitu na parametr, protože se ukládají i měřítka.
Kontext stojí paměť navíc
Kromě vah si model drží v paměti i rozpracovaný text, takzvanou KV cache. Ta roste s každým tokenem kontextu. U Llamy 3.1 8B je to zhruba 128 KB na token, takže kontext 32 tisíc tokenů přidá asi 4 GB a plných 128 tisíc asi 16 GB. U Llamy 3.3 70B je to 320 KB na token: 32k znamená 10 GB navíc, 128k celých 40 GB.
Novější modely jsou úspornější. Na našem Macu Studio jsme naměřili, že gpt-oss-120b mezi prázdným kontextem a 32k přibere jen 1,5 GB, protože polovina jeho vrstev hledí jen na posledních 128 tokenů. Gemma 4 31B přibere 4,9 GB. Podrobná čísla jsou v našem měření.
MoE modely: paměť podle celku, rychlost podle části
Modely typu mixture of experts (MoE), jako gpt-oss-120b nebo Qwen3 235B-A22B, používají pro každý token jen část parametrů, a proto bývají mnohem rychlejší než hustý model stejné celkové velikosti. V paměti ale musí být celé. 235B MoE model s 22 miliardami aktivních parametrů tak zabere tolik místa jako 235B model, rychlostí má ale blíž k mnohem menšímu modelu. Jak blízko, závisí na architektuře, směrování expertů, kvantizaci, délce kontextu a softwaru, ve kterém ho spouštíte.
Kolik paměti Macu model opravdu dostane
Mac nemá oddělenou grafickou paměť: procesor i grafika sdílejí jednu. macOS ale grafice ve výchozím stavu nedovolí zabrat všechno, nechává rezervu pro systém. Limit se dá navýšit příkazem, který platí do restartu:
sudo sysctl iogpu.wired_limit_mb=240000Hodnota je v megabajtech. Systému je dobré nechat aspoň 8–16 GB. Na pronajatém Macu nemá váš účet práva správce, proto vám limit na požádání nastavíme my.
| Paměť Macu | Pro model zhruba | Co se pohodlně vejde |
|---|---|---|
| 16 GB | 10–11 GB | 7–8B ve 4bitové verzi |
| 32 GB | 21–24 GB | 14B ve 4bitové verzi, 27–32B s kratším kontextem |
| 64 GB | 48 GB | 70B ve 4bitové verzi se středně dlouhým kontextem, 32B v 8bitové |
| 128 GB | 96 GB | 117B MoE (gpt-oss-120b) ve 4bitové verzi, 70B v 8bitové |
| 256 GB | 192 GB, po navýšení limitu až ~240 GB | 235B ve 4bitové verzi, 405B ve 3bitové, nebo několik modelů najednou |
Odhad podle výchozího limitu macOS pro grafiku; přesná hodnota se liší podle verze systému.
Kolik kvality kvantizace stojí
Kolik kvality kvantizovaný model ztratí, záleží na konkrétním modelu a úloze, proto ho vyzkoušejte na své práci. Orientačně: 8bitové verze bývají velmi blízko plné přesnosti, 4bitové ztrácejí o něco víc a pro lokální provoz jsou běžným kompromisem. Pod 4 bity bývá zhoršení znatelnější, hlavně u menších modelů. U velmi velkých modelů, jako je 405B, může mít smysl i 3bitová verze, protože větší model s hrubší kvantizací někdy překoná menší model ve vyšší přesnosti.
Shrnutí
- Ve 4bitové verzi počítejte zhruba 0,56 GB na miliardu parametrů, k tomu kontext a pár GB režie.
- Dlouhý kontext umí zabrat desítky GB, u novějších modelů výrazně méně.
- U MoE modelů rozhoduje o paměti celková velikost. Aktivní část má velký vliv na rychlost, ale není jediným faktorem.
Pokud vám vlastní Mac nestačí, do našeho Macu Studio M5 Ultra s 256 GB by se měl vejít 235B model ve 4bitové verzi, 405B ve 3bitové nebo několik menších modelů najednou, pokud necháte místo na kontext a systém. Jde o odhady, takže svůj model vyzkoušejte, než si Mac pronajmete na delší dobu. Limit pro grafiku vám na přání navýšíme.