12 листопада 2026 р. · Jakub M.

Qwen3.5 397B на одному Mac Studio M5 Ultra: 224 ГБ і 62 токени за секунду

Модель із 397 мільярдами параметрів займає в 4 бітах близько 224 ГБ. Ми запустили її на одному Mac Studio M5 Ultra з 256 ГБ: вона генерувала близько 62 токенів за секунду, впоралася з контекстом у 128 тисяч токенів і не потребувала жодних змін налаштувань macOS.

Наш найбільший тест досі — Qwen3 235B розміром близько 133 ГБ. Цього разу ми пішли на межу пам’яті Mac: Qwen3.5 397B-A17B, модель типу mixture-of-experts із 397 мільярдами параметрів, з яких для кожного токена працює близько 17 мільярдів. У 4-бітному форматі MLX вона займає приблизно 224 ГБ.

Як ми вимірювали

• Обладнання: Mac Studio з Apple M5 Ultra (36-ядерний CPU, 80-ядерний GPU) і 256 ГБ уніфікованої пам’яті, macOS 27.2.1.
• Програмне забезпечення: Python 3.12, MLX 0.32.4, mlx-lm 0.32.2, модель mlx-community/Qwen3.5-397B-A17B-4bit.
• Тест: вбудований інструмент mlx_lm.benchmark, промпт із випадкових токенів із фіксованим зерном і прогрівальний запуск перед кожним вимірюванням. Промпти на 512 і 8 192 токени зі 128 згенерованими токенами (три й два повтори), потім довші промпти аж до 131 072 токенів із 64 згенерованими токенами (по одному вимірюванню).

Результати

Qwen3.5 397B-A17B, 4-бітний MLX (mlx-community), mlx-lm 0.32.2, macOS 27.2.1, виміряно 12 листопада 2026 р. 512 і 8 192 токени: 128 згенерованих токенів, середнє з 3 і 2 повторів; довші промпти: 64 згенеровані токени, один вимір. Значення для промпту 512 токенів коливалося між повторами (141–195 ток/с).

Без змін налаштувань

Ми очікували, що за стандартних налаштувань модель не вміститься. Старіші версії macOS давали графіці лише близько трьох чвертей пам’яті, тобто на Mac із 256 ГБ — приблизно 192 ГБ. Однак на нашому Mac із macOS 27.2.1 Metal повідомляє рекомендований ліміт 240 ГБ (257,7 млрд байтів), тобто все, крім 16 ГБ. Модель працювала зі стандартними налаштуваннями так само швидко, як і з вручну встановленим лімітом, swap залишався нижче 45 МБ, а macOS увесь час повідомляв про нормальне навантаження на пам’ять. Ті самі 240 ГБ ми виміряли й на нашому другому Mac із 256 ГБ. Відповідно ми оновили й наш калькулятор RAM.

Для орендарів це важливо: вони не мають прав адміністратора, тож не змогли б самі підвищити ліміт. На цих Mac їм це не потрібно.

Довгий контекст коштує мало пам’яті

Між промптом на 512 токенів і промптом на 131 072 токени пікове споживання пам’яті зросло лише приблизно на 6 ГБ, із 224,3 до 230,6 ГБ. Навіть за найдовшого контексту для системи лишалося понад 25 ГБ. Зі зростанням контексту швидкість знижується: генерація впала з 62 до 44 токенів за секунду, що все одно зручний темп для читання.

Більша, але швидша

У нашому жовтневому тесті Qwen3 235B генерувала 46 токенів за секунду з порожнім контекстом і 33 з промптом на 16 384 токени. Qwen3.5 397B майже вдвічі більша, проте в порівнянних ситуаціях генерує близько 62 і 58 токенів за секунду. Причина — менша кількість активних параметрів на токен: приблизно 17 мільярдів замість 22. Жовтневий тест працював на старішій версії програм і трохи іншим методом, тож порівняння орієнтовне.

Споживання

Під час тесту чип (CPU і GPU) споживав щонайбільше близько 104 Вт, виміряно інструментом powermetrics у 2-секундних вибірках. Середнього значення не наводимо, бо вимірювання охоплювало й завантаження моделі та паузи.

Обмеження тесту

Ми виміряли одну модель на одному Mac з окремими запитами. Промпт із випадкових токенів дає чисті показники швидкості; у реальних завданнях швидкість може відрізнятися. Тест не вимірює якість відповідей, а 4-бітна версія може відповідати трохи гірше за повну модель.

Спробуйте самі

Якщо хочете запустити модель такого розміру, не купуючи Mac за понад 12 000 €, можете орендувати Mac Studio M5 Ultra з 256 ГБ від одного дня.

Замовити оренду Продуктивність

← Усі статті