PL
Ile pamięci potrzebuje model AI?
Wybierz, ile pamięci ma Twój Mac, a zobaczysz, które otwarte modele językowe na nim zadziałają. Albo wybierz model i sprawdź, ile pamięci potrzebuje.
Liczymy z kwantyzacją 4-bitową, typową dla modeli lokalnych, i kontekstem do około 32 tysięcy tokenów: parametry × 4,5 bita ÷ 8, plus 10 % i 2 GB na kontekst i działanie. Mac domyślnie daje grafice około 67 % pamięci (do 36 GB) lub 75 % (powyżej 36 GB); limit można podnieść. To szacunki: rzeczywiste zużycie zależy od oprogramowania i długości kontekstu. Na naszym Mac Studio z 256 GB i macOS 27.2.1 limit grafiki wynosi 240 GB i tej wartości kalkulator używa dla 256 GB.
Dane o modelach: Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.
Jak kalkulator szacuje pamięć
Model językowy potrzebuje pamięci na trzy rzeczy: na swoje wagi, na kontekst, z którym pracuje, i na samo działanie. Kalkulator sumuje je tak.
Wagi
Przy kwantyzacji 4-bitowej każdy parametr wraz ze współczynnikami skalowania zajmuje około 4,5 bita, czyli mniej więcej 0,56 GB na miliard parametrów. Model 70B potrzebuje więc na same wagi około 39 GB, model 120B około 66 GB.
Kontekst i KV cache
Dla każdego tokenu w kontekście model trzyma w pamięci klucze i wartości, tzw. KV cache. Ile zajmuje, zależy od architektury modelu i rośnie z długością kontekstu. Kalkulator dodaje do wag 10% i 2 GB, co w większości modeli wystarcza na kontekst do około 32 tysięcy tokenów. Przy znacznie dłuższym kontekście trzeba przewidzieć więcej.
Dlaczego Mac nie odda modelowi całej pamięci
W Apple Silicon CPU i GPU dzielą jedną pamięć zunifikowaną, a macOS zostawia jej część dla systemu. Ile może domyślnie użyć grafika, zależy od Maca i wersji macOS. Na naszym Mac Studio z 256 GB i macOS 27.2.1 Metal podaje 240 GB, czyli wszystko poza 16 GB, a model o rozmiarze 224 GB działał bez zmiany jakichkolwiek ustawień. Starsze wersje macOS i mniejsze Maki zwykle pozwalały na około dwie trzecie do trzech czwartych i dla nich kalkulator zachowuje tę ostrożniejszą regułę. Limit można podnieść (ustawienie iogpu.wired_limit_mb) kosztem pamięci dla systemu i innych aplikacji. Dlatego kalkulator osobno pokazuje stan „Po podniesieniu limitu”.
4, 8 czy 16 bitów
Kwantyzacja 8-bitowa potrzebuje mniej więcej dwa razy więcej pamięci niż 4-bitowa, 16-bitowa (BF16) około cztery razy więcej. 4 bity to typowy kompromis przy uruchamianiu modeli lokalnie: w większości modeli utrata jakości jest niewielka, poniżej 4 bitów rośnie szybciej. Więcej w artykule o tym, ile pamięci potrzebuje model językowy.
Szacunek a pomiar
| Model | Szacunek kalkulatora | Zmierzony szczyt | Najmniejszy Mac, w którym się zmieści |
|---|---|---|---|
| Qwen3 30B-A3B | 20,9 GB | 18,7 GB | 32 GB |
| Llama 3.3 70B | 45,7 GB | 43,3 GB | 64 GB |
| gpt-oss-120b | 74,4 GB | 64,5 GB | 128 GB |
Pomiar w mlx-lm 0.32.2 z promptem 8192 tokenów na Mac Studio M5 Ultra, 11 listopada 2026. gpt-oss-120b używa formatu MXFP4, nieco mniejszego niż 4,5 bita przyjęte przez kalkulator.
Szacunki są celowo raczej ostrożne: w naszym pomiarze wszystkie trzy modele potrzebowały nieco mniej. Jeśli duży Mac jest Ci potrzebny tylko na jakiś czas, porównaj wynajem i zakup Mac Studio M5 Ultra. Dla Qwen3.5 397B kalkulator zamiast szacunku używa naszego zmierzonego szczytu z kontekstem 32k (227,5 GB), zob. nasz test tego modelu.