Калькулятор RAM Блог
UK

Скільки пам’яті потрібно моделі ШІ?

Виберіть, скільки пам’яті має ваш Mac, і побачите, які відкриті мовні моделі на ньому запрацюють. Або виберіть модель і дізнайтеся, скільки пам’яті їй потрібно.

Скільки пам’яті має ваш Mac?

64 GB
0
    Орендувати Mac

    Рахуємо з 4-бітною квантизацією, звичною для локальних моделей, і контекстом приблизно до 32 тисяч токенів: параметри × 4,5 біта ÷ 8, плюс 10 % і 2 ГБ на контекст і роботу. Mac за замовчуванням дає графіці близько 67 % пам’яті (до 36 ГБ) або 75 % (понад 36 ГБ); ліміт можна підвищити. Це оцінки: реальне споживання залежить від програм і довжини контексту. На нашому Mac Studio з 256 ГБ і macOS 27.2.1 ліміт графіки становить 240 ГБ, і саме його калькулятор використовує для 256 ГБ.

    Дані про моделі: Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.

    Як калькулятор оцінює пам’ять

    Мовній моделі потрібна пам’ять на три речі: на ваги, на контекст, з яким вона працює, і на саму роботу. Калькулятор додає їх так.

    Ваги

    За 4-бітної квантизації кожен параметр разом із коефіцієнтами масштабування займає близько 4,5 біта, тобто приблизно 0,56 ГБ на мільярд параметрів. Модель 70B потребує лише на ваги близько 39 ГБ, модель 120B — близько 66 ГБ.

    Контекст і KV-кеш

    Для кожного токена в контексті модель тримає в пам’яті ключі та значення, так званий KV-кеш. Скільки він займає, залежить від архітектури моделі й зростає з довжиною контексту. Калькулятор додає до ваг 10 % і 2 ГБ, чого для більшості моделей вистачає на контекст приблизно до 32 тисяч токенів. Для значно довшого контексту закладайте більше.

    Чому Mac не віддає моделі всю пам’ять

    В Apple Silicon процесор і графіка ділять одну уніфіковану пам’ять, а macOS залишає частину для системи. Скільки графіка може використати за замовчуванням, залежить від Mac і версії macOS. На нашому Mac Studio з 256 ГБ і macOS 27.2.1 Metal повідомляє 240 ГБ, тобто все, крім 16 ГБ, і модель розміром 224 ГБ працювала без жодних змін налаштувань. Старіші версії macOS і менші Mac зазвичай дозволяли близько двох третин або трьох чвертей, і для них калькулятор залишає це обережніше правило. Ліміт можна підвищити (параметр iogpu.wired_limit_mb) коштом пам’яті для системи й інших програм. Тому калькулятор окремо показує стан «З підвищеним лімітом».

    4, 8 чи 16 біт

    8-бітна квантизація потребує приблизно вдвічі більше пам’яті, ніж 4-бітна, а 16-бітна (BF16) — приблизно вчетверо. 4 біти — звичайний компроміс для локального запуску: для більшості моделей втрата якості невелика, нижче 4 біт вона зростає швидше. Докладніше в статті про те, скільки пам’яті потрібно мовній моделі.

    Оцінка і вимірювання

    МодельОцінка калькулятораВиміряний пікНайменший Mac, у який вміщується
    Qwen3 30B-A3B20,9 GB18,7 GB32 GB
    Llama 3.3 70B45,7 GB43,3 GB64 GB
    gpt-oss-120b74,4 GB64,5 GB128 GB

    Виміряно в mlx-lm 0.32.2 із промптом 8 192 токени на Mac Studio M5 Ultra, 11 листопада 2026 р. gpt-oss-120b використовує формат MXFP4, трохи менший за 4,5 біта, з якими рахує калькулятор.

    Оцінки навмисно обережні: у нашому вимірюванні всім трьом моделям знадобилося трохи менше. Якщо великий Mac потрібен вам лише на певний час, порівняйте оренду й купівлю Mac Studio M5 Ultra. Для Qwen3.5 397B калькулятор замість оцінки використовує наш виміряний пік із контекстом 32k (227,5 ГБ), див. наш тест цієї моделі.