15 жовтня 2026 р. · Jakub Mokříš
Mac Studio M5 Ultra з 256 ГБ і локальний ШІ: ми виміряли шість моделей
Скільки токенів за секунду насправді видає Mac Studio з M5 Ultra і 256 ГБ уніфікованої пам’яті? Ми запустили шість популярних відкритих моделей від 9 до 120 мільярдів параметрів із порожнім і довгим контекстом і записали також споживання пам’яті.
Тести Apple Silicon для локальних мовних моделей зазвичай показують одне число для однієї моделі й не пояснюють, як його отримано. Нам потрібні були повні й відтворювані дані, тож ми вимірювали всі моделі однаково й описали методику.
На чому і як ми вимірювали
- Обладнання: Mac Studio з Apple M5 Ultra, 256 ГБ уніфікованої пам’яті та SSD на 4 ТБ. Це саме той комп’ютер, який ми здаємо в оренду.
- Програмне забезпечення: macOS 27.0.1, Python 3.12 і mlx-lm 0.32 на основі фреймворку MLX від Apple.
- Моделі: версії для MLX від спільноти mlx-community на Hugging Face у 4-бітному квантуванні. Моделі gpt-oss мають ваги експертів у форматі MXFP4 (варіанти «MXFP4-Q8»), Gemma 4 31B — у 4-бітній версії QAT.
- Тест: 512 токенів промпту, а потім 128 згенерованих токенів за 0, 8192 і 32 768 токенів, уже завантажених у контекст. З порожнім контекстом ми вимірювали двічі й усереднили результат, із довшим — один раз. Промпт складається з випадкових токенів, бо швидкість не залежить від змісту тексту.
- Пам’ять: пікове споживання, яке повідомляє MLX під час тесту, разом із вагами моделі та кешем контексту.
Результати
| Модель | Тип | Розмір | Ген., порожній | Ген., 8k | Ген., 32k | Пам’ять, порожній | Пам’ять, 32k |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | щільна | 6,0 ГБ | 167 | 161 | 141 | 5,5 ГБ | 7,4 ГБ |
| gpt-oss-20b | MoE | 12,1 ГБ | 184 | 172 | 145 | 11,7 ГБ | 12,8 ГБ |
| Qwen3.5 27B | щільна | 16,1 ГБ | 55 | 53 | 48 | 15,3 ГБ | 18,8 ГБ |
| Gemma 4 31B | щільна | 28,8 ГБ | 31 | 27 | 21 | 26,6 ГБ | 31,5 ГБ |
| Qwen3.5 35B-A3B | MoE | 20,4 ГБ | 162 | 154 | 141 | 18,8 ГБ | 20,6 ГБ |
| gpt-oss-120b | MoE | 63,4 ГБ | 120 | 113 | 96 | 59,5 ГБ | 61,0 ГБ |
Швидкість генерації в токенах за секунду. «Порожній», «8k» і «32k» — кількість токенів, які вже є в контексті. Пам’ять — пікове споживання, яке повідомляє MLX.
Що кажуть цифри
Моделі mixture-of-experts значно швидші
Найшвидша модель у тесті — не найменша. gpt-oss-20b генерує 184 токени за секунду, і навіть gpt-oss-120b досягає 120. Обидві є моделями mixture-of-experts (MoE): для кожного токена вони використовують лише невелику частину параметрів — за даними OpenAI, близько 3,6 млрд у gpt-oss-20b і 5,1 млрд у gpt-oss-120b. Так само працює Qwen3.5 35B-A3B із приблизно 3 млрд активних параметрів і досягає 162 токенів за секунду.
Щільні (dense) моделі використовують усі параметри для кожного токена, тому вони повільніші: Qwen3.5 27B генерує 55 токенів за секунду, а Gemma 4 31B — 31. Для порівняння: близько 20 токенів за секунду — це вже швидше, ніж читає більшість людей, тож навіть найповільніша модель у тесті зручна для чату.
Довгий контекст коштує від 12 до 32 відсотків
Із 32 768 токенами в контексті генерація в більшості моделей сповільнилася на 12–21 відсоток. Найбільше втратила Gemma 4 31B — з 31 до 21 токена за секунду, тобто приблизно третину. Якщо ви працюєте з довгими документами або великими кодовими базами, дивіться передусім на цей стовпець.
256 ГБ залишають багато місця
Найбільша протестована модель, gpt-oss-120b, разом із контекстом 32k потребувала лише 61 ГБ, тобто менше чверті пам’яті. Решти вистачить на значно більші моделі, наприклад Qwen3.5 122B-A10B (близько 70 ГБ у 4-бітній версії) або навіть Qwen3.5 397B-A17B, 4-бітні файли якої займають 224 ГБ. Також можна запустити кілька моделей поруч, наприклад велику для відповідей і малу для швидкої маршрутизації запитів чи ембедингів.
Чого ми не вимірювали
- Швидкість обробки промпту. Наш короткий тест із 512 токенами давав нестабільні результати — приблизно від 500 до 5000 токенів за секунду залежно від моделі. Цього достатньо, щоб сказати, що завантаження промпту в рази швидше за генерацію, але не для точних цифр. Довше вимірювання додамо.
- Інші програми. Ми використовували лише MLX. llama.cpp, Ollama або моделі GGUF у LM Studio можуть дати інші результати.
- Якість відповідей, енергоспоживання й найбільші моделі (122B і 397B). Це наступні кроки.
Спробуйте на власних задачах
Цифри з чужого тесту ніколи повністю не відповідають на питання, чи підходить комп’ютер саме для вашої роботи. Тому ми здаємо в оренду саме цей Mac Studio — від одного дня, через SSH або віддалений робочий стіл. Якщо ви думаєте про купівлю, спершу можете запустити на ньому власні моделі й дані.