UK
20 жовтня 2026 р. · Jakub M.
Скільки пам’яті потрібно мовній моделі: таблиця від 7B до 405B
Чи вміститься модель 70B у 64 ГБ? А 235B? Ми порахували, скільки пам’яті займають мовні моделі різного розміру, скільки додає контекст і якого Mac вистачить для чого.
Щоб дізнатися, чи вміститься модель у пам’ять, достатньо простого розрахунку. Кількість параметрів множимо на кількість бітів на параметр і ділимо на вісім. Модель із 70 мільярдами параметрів у повній точності FP16 (16 біт) займає 140 ГБ, у 8-бітній версії приблизно половину, а в 4-бітній приблизно чверть. Для локальних моделей стандартом сьогодні є саме 4-бітна квантизація.
Скільки займають самі ваги
| Розмір | Приклади моделей | 4-бітна | 8-бітна | FP16 (без квантизації) |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4,5 ГБ | ≈ 8,5 ГБ | ≈ 16 ГБ |
| 14B | Qwen3 14B | ≈ 8 ГБ | ≈ 15 ГБ | ≈ 28 ГБ |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 ГБ | ≈ 34 ГБ | ≈ 64 ГБ |
| 70B | Llama 3.3 70B | ≈ 39 ГБ | ≈ 74 ГБ | ≈ 140 ГБ |
| 117B | gpt-oss-120b | ≈ 66 ГБ | ≈ 124 ГБ | ≈ 234 ГБ |
| 235B | Qwen3 235B-A22B | ≈ 132 ГБ | ≈ 250 ГБ | ≈ 470 ГБ |
| 405B | Llama 3.1 405B | ≈ 228 ГБ | ≈ 430 ГБ | ≈ 810 ГБ |
Лише ваги моделі, округлено. До кожного числа додайте пам’ять на контекст і 1–2 ГБ накладних витрат. 4-бітна квантизація на практиці займає близько 4,5 біта на параметр, бо зберігаються ще й масштабні коефіцієнти.
Контекст потребує додаткової пам’яті
Крім ваг, модель тримає в пам’яті й текст, з яким працює, так звану KV cache. Вона зростає з кожним токеном контексту. У Llama 3.1 8B це близько 128 КБ на токен, тож контекст на 32 тисячі токенів додає близько 4 ГБ, а повні 128 тисяч близько 16 ГБ. У Llama 3.3 70B це 320 КБ на токен: 32k означає 10 ГБ додатково, 128k цілих 40 ГБ.
Новіші моделі ощадливіші. На нашому Mac Studio ми виміряли, що gpt-oss-120b між порожнім контекстом і 32k додає лише 1,5 ГБ, бо половина його шарів бачить тільки останні 128 токенів. Gemma 4 31B додає 4,9 ГБ. Докладні цифри є в нашому вимірюванні.
Моделі MoE: пам’ять за цілим, швидкість за частиною
Моделі типу mixture of experts (MoE), як-от gpt-oss-120b чи Qwen3 235B-A22B, для кожного токена використовують лише частину параметрів, тому зазвичай працюють значно швидше за щільну модель того самого загального розміру. Але в пам’яті має бути вся модель. Тож MoE-модель на 235B із 22 мільярдами активних параметрів займає стільки ж місця, скільки модель на 235B, а за швидкістю ближча до значно меншої моделі. Наскільки ближча, залежить від архітектури, маршрутизації експертів, квантизації, довжини контексту й програми, в якій ви її запускаєте.
Скільки пам’яті Mac модель отримає насправді
У Mac немає окремої графічної пам’яті: процесор і графіка ділять одну. Проте macOS за замовчуванням не дозволяє графіці зайняти все й залишає резерв для системи. Ліміт можна підвищити командою, яка діє до перезавантаження:
sudo sysctl iogpu.wired_limit_mb=240000Значення вказується в мегабайтах. Системі варто залишити щонайменше 8–16 ГБ. На орендованому Mac ваш обліковий запис не має прав адміністратора, тому цей ліміт ми встановимо на ваш запит.
| Пам’ять Mac | Для моделі приблизно | Що вміститься з запасом |
|---|---|---|
| 16 ГБ | 10–11 ГБ | 7–8B у 4-бітній версії |
| 32 ГБ | 21–24 ГБ | 14B у 4-бітній версії, 27–32B з коротшим контекстом |
| 64 ГБ | 48 ГБ | 70B у 4-бітній версії із середнім контекстом, 32B у 8-бітній |
| 128 ГБ | 96 ГБ | 117B MoE (gpt-oss-120b) у 4-бітній версії, 70B у 8-бітній |
| 256 ГБ | 192 ГБ, після підвищення ліміту до ~240 ГБ | 235B у 4-бітній версії, 405B у 3-бітній або кілька моделей одночасно |
Оцінка за стандартним лімітом macOS для GPU; точне значення залежить від версії системи.
Скільки якості коштує квантизація
Скільки якості втрачає квантизована модель, залежить від конкретної моделі та завдання, тож перевірте її на своїй роботі. Орієнтовно: 8-бітні версії зазвичай дуже близькі до повної точності, 4-бітні втрачають трохи більше й є типовим компромісом для локальної роботи. Нижче 4 бітів погіршення зазвичай помітніше, особливо в менших моделях. Для дуже великих моделей, як-от 405B, 3-бітна версія ще може мати сенс, бо більша модель із грубішою квантизацією іноді перевершує меншу з вищою точністю.
Коротко
- У 4-бітній версії рахуйте приблизно 0,56 ГБ на мільярд параметрів, плюс контекст і кілька ГБ накладних витрат.
- Довгий контекст може зайняти десятки ГБ, у новіших моделях значно менше.
- У MoE-моделях пам’ять визначає загальний розмір. Активна частина сильно впливає на швидкість, але це не єдиний чинник.
Якщо вашого Mac не вистачає, у наш Mac Studio M5 Ultra з 256 ГБ має вміститися модель 235B у 4-бітній версії, 405B у 3-бітній або кілька менших моделей одночасно, якщо залишити місце для контексту й системи. Це оцінки, тож перевірте свою модель перед довшою орендою. Ліміт для графіки підвищимо на запит.