CS
Kolik paměti potřebuje AI model?
Vyberte, kolik paměti má váš Mac, a uvidíte, které otevřené jazykové modely na něm poběží. Nebo vyberte model a zjistěte, kolik paměti potřebuje.
Počítáme se 4bitovou kvantizací, dnes běžnou pro lokální modely, a s kontextem zhruba do 32 tisíc tokenů: parametry × 4,5 bitu ÷ 8, plus 10 % a 2 GB na kontext a běh. Mac dá grafice standardně asi 67 % paměti (do 36 GB) nebo 75 % (nad 36 GB); limit jde zvýšit. Jde o odhady, skutečná spotřeba závisí na softwaru a délce kontextu. Na našem Macu Studio s 256 GB a macOS 27.2.1 je limit pro grafiku 240 GB, a ten kalkulačka pro 256 GB používá.
Údaje o modelech: Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.
Jak kalkulačka odhaduje paměť
Jazykový model potřebuje paměť na tři věci: na své váhy, na kontext, se kterým pracuje, a na běh okolo. Kalkulačka je sčítá takto.
Váhy
Při 4bitové kvantizaci zabere každý parametr včetně škálovacích koeficientů asi 4,5 bitu, tedy zhruba 0,56 GB na miliardu parametrů. Model 70B tak potřebuje jen na váhy asi 39 GB, model 120B asi 66 GB.
Kontext a KV cache
Pro každý token v kontextu si model drží v paměti klíče a hodnoty, takzvanou KV cache. Kolik zabere, závisí na architektuře modelu a roste s délkou kontextu. Kalkulačka přidává k vahám 10 % a 2 GB, což u většiny modelů pokryje kontext zhruba do 32 tisíc tokenů. Pro výrazně delší kontext počítejte s víc.
Proč Mac nedá modelu celou paměť
U Apple Silicon sdílí CPU a GPU jednu jednotnou paměť a macOS si část nechává pro systém. Kolik smí grafika standardně použít, záleží na Macu a verzi macOS. Na našem Macu Studio s 256 GB a macOS 27.2.1 hlásí Metal 240 GB, tedy všechno kromě 16 GB, a model o velikosti 224 GB běžel bez jakékoli změny nastavení. Starší verze macOS a menší Macy dávaly grafice obvykle jen zhruba dvě třetiny až tři čtvrtiny a pro ně kalkulačka toto opatrnější pravidlo ponechává. Limit jde zvýšit (nastavení iogpu.wired_limit_mb) za cenu menší rezervy pro systém a další aplikace. Proto kalkulačka ukazuje zvlášť stav „Se zvýšeným limitem“.
4bitová, 8bitová, nebo 16bitová verze
8bitová kvantizace potřebuje zhruba dvojnásobek paměti než 4bitová, 16bitová (BF16) asi čtyřnásobek. 4 bity jsou pro lokální provoz obvyklý kompromis: u většiny modelů je ztráta kvality malá, pod 4 bity roste rychleji. Víc v článku o tom, kolik paměti potřebuje jazykový model.
Odhad proti měření
| Model | Odhad kalkulačky | Naměřená špička | Nejmenší Mac, kam se vejde |
|---|---|---|---|
| Qwen3 30B-A3B | 20,9 GB | 18,7 GB | 32 GB |
| Llama 3.3 70B | 45,7 GB | 43,3 GB | 64 GB |
| gpt-oss-120b | 74,4 GB | 64,5 GB | 128 GB |
Měřeno v mlx-lm 0.32.2 s promptem 8 192 tokenů na Macu Studio M5 Ultra, 11. listopadu 2026. gpt-oss-120b používá formát MXFP4, který je o něco menší než 4,5 bitu, se kterými počítá kalkulačka.
Odhady jsou záměrně spíš opatrné: v našem měření potřebovaly všechny tři modely o něco méně. Pokud velký Mac potřebujete jen na čas, porovnejte pronájem a koupi Macu Studio M5 Ultra. U modelu Qwen3.5 397B používá kalkulačka místo odhadu naši naměřenou špičku s kontextem 32k (227,5 GB), viz náš test tohoto modelu.