PL
20 października 2026 · Jakub M.
Ile pamięci potrzebuje model językowy: tabela od 7B do 405B
Czy model 70B zmieści się w 64 GB? A 235B? Policzyliśmy, ile pamięci zajmują modele językowe różnej wielkości, ile dokłada kontekst i który Mac do czego wystarczy.
Na pytanie, czy model zmieści się w pamięci, odpowiada proste działanie. Liczbę parametrów mnożymy przez liczbę bitów na parametr i dzielimy przez osiem. Model z 70 miliardami parametrów w pełnej precyzji FP16 (16 bitów) zajmuje więc 140 GB, w wersji 8-bitowej mniej więcej połowę, a w 4-bitowej mniej więcej ćwierć. W modelach uruchamianych lokalnie standardem jest dziś właśnie kwantyzacja 4-bitowa.
Ile zajmują same wagi
| Rozmiar | Przykładowe modele | 4-bitowa | 8-bitowa | FP16 (bez kwantyzacji) |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4,5 GB | ≈ 8,5 GB | ≈ 16 GB |
| 14B | Qwen3 14B | ≈ 8 GB | ≈ 15 GB | ≈ 28 GB |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 GB | ≈ 34 GB | ≈ 64 GB |
| 70B | Llama 3.3 70B | ≈ 39 GB | ≈ 74 GB | ≈ 140 GB |
| 117B | gpt-oss-120b | ≈ 66 GB | ≈ 124 GB | ≈ 234 GB |
| 235B | Qwen3 235B-A22B | ≈ 132 GB | ≈ 250 GB | ≈ 470 GB |
| 405B | Llama 3.1 405B | ≈ 228 GB | ≈ 430 GB | ≈ 810 GB |
Tylko wagi modelu, w zaokrągleniu. Do każdej wartości doliczcie pamięć na kontekst i 1–2 GB narzutu. Kwantyzacja 4-bitowa zajmuje w praktyce około 4,5 bitu na parametr, bo zapisywane są też współczynniki skali.
Kontekst kosztuje dodatkową pamięć
Oprócz wag model trzyma w pamięci także przetwarzany tekst, tak zwaną KV cache. Rośnie ona z każdym tokenem kontekstu. W Llamie 3.1 8B to około 128 KB na token, więc kontekst 32 tysięcy tokenów dokłada około 4 GB, a pełne 128 tysięcy około 16 GB. W Llamie 3.3 70B to 320 KB na token: 32k oznacza 10 GB więcej, 128k aż 40 GB.
Nowsze modele są oszczędniejsze. Na naszym Mac Studio zmierzyliśmy, że gpt-oss-120b między pustym kontekstem a 32k przybiera tylko 1,5 GB, bo połowa jego warstw patrzy tylko na ostatnie 128 tokenów. Gemma 4 31B przybiera 4,9 GB. Szczegółowe liczby są w naszym pomiarze.
Modele MoE: pamięć według całości, szybkość według części
Modele typu mixture of experts (MoE), jak gpt-oss-120b czy Qwen3 235B-A22B, używają dla każdego tokenu tylko części parametrów, dlatego zwykle są znacznie szybsze niż model gęsty o tej samej łącznej wielkości. W pamięci muszą być jednak w całości. Model MoE 235B z 22 miliardami aktywnych parametrów zajmuje więc tyle miejsca co model 235B, a prędkością jest bliżej znacznie mniejszego modelu. Jak blisko, zależy od architektury, kierowania do ekspertów, kwantyzacji, długości kontekstu i oprogramowania, w którym go uruchamiasz.
Ile pamięci Maca model naprawdę dostanie
Mac nie ma osobnej pamięci graficznej: procesor i GPU dzielą jedną pulę. Domyślnie macOS nie pozwala jednak GPU zająć wszystkiego i zostawia rezerwę dla systemu. Limit można podnieść poleceniem, które działa do ponownego uruchomienia:
sudo sysctl iogpu.wired_limit_mb=240000Wartość podaje się w megabajtach. Systemowi warto zostawić co najmniej 8–16 GB. Na wynajętym Macu Twoje konto nie ma uprawnień administratora, więc ten limit ustawimy na Twoją prośbę.
| Pamięć Maca | Dla modelu mniej więcej | Co zmieści się bez problemu |
|---|---|---|
| 16 GB | 10–11 GB | 7–8B w wersji 4-bitowej |
| 32 GB | 21–24 GB | 14B w wersji 4-bitowej, 27–32B z krótszym kontekstem |
| 64 GB | 48 GB | 70B w wersji 4-bitowej ze średnim kontekstem, 32B w 8-bitowej |
| 128 GB | 96 GB | 117B MoE (gpt-oss-120b) w wersji 4-bitowej, 70B w 8-bitowej |
| 256 GB | 192 GB, po podniesieniu limitu do ~240 GB | 235B w wersji 4-bitowej, 405B w 3-bitowej albo kilka modeli naraz |
Szacunek według domyślnego limitu macOS dla GPU; dokładna wartość zależy od wersji systemu.
Ile jakości kosztuje kwantyzacja
Ile jakości traci skwantyzowany model, zależy od konkretnego modelu i zadania, więc przetestuj go na własnej pracy. Orientacyjnie: wersje 8-bitowe są zwykle bardzo bliskie pełnej precyzji, 4-bitowe tracą nieco więcej i przy pracy lokalnej są typowym kompromisem. Poniżej 4 bitów pogorszenie jest zwykle wyraźniejsze, zwłaszcza w mniejszych modelach. Przy bardzo dużych modelach, jak 405B, sens może mieć nawet wersja 3-bitowa, bo większy model z grubszą kwantyzacją czasem wygrywa z mniejszym w wyższej precyzji.
W skrócie
- W wersji 4-bitowej liczcie około 0,56 GB na miliard parametrów, do tego kontekst i kilka GB narzutu.
- Długi kontekst potrafi zająć dziesiątki GB, w nowszych modelach znacznie mniej.
- W modelach MoE o pamięci decyduje łączna wielkość. Część aktywna mocno wpływa na prędkość, ale nie jest jedynym czynnikiem.
Jeśli własny Mac nie wystarcza, w naszym Macu Studio M5 Ultra z 256 GB powinien zmieścić się model 235B w wersji 4-bitowej, 405B w 3-bitowej albo kilka mniejszych modeli naraz, o ile zostawisz miejsce na kontekst i system. To szacunki, więc przetestuj swój model przed dłuższym wynajmem. Limit dla GPU podniesiemy na życzenie.