UK
26 жовтня 2026 р. · Jakub M.
Mac Studio M5 Ultra в тесті: Qwen3 235B зі швидкістю 46 токенів за секунду і швидке читання промптів
Чеський технологічний сайт Vše Smart протестував Mac Studio M5 Ultra з 256 ГБ на п’яти мовних моделях у llama.cpp і MLX. Найбільша, Qwen3 235B, зайняла 133 ГБ пам’яті та генерувала 46 токенів за секунду. Пояснюємо, що означають результати для великих моделей.
Джерело: Mac Studio M5 Ultra v testu: Qwen3 235B a rychlost čtení promptů, Ludvík Eckerman, Vše Smart, 26 жовтня 2026 р. (чеською). Усі цифри нижче взято з цієї статті.
Чеський сайт Vše Smart опублікував докладний тест Mac Studio з чипом M5 Ultra. Це та сама конфігурація, яку ми здаємо в оренду: 80-ядерний GPU і 256 ГБ уніфікованої пам’яті. Тест зосереджується на двох речах, яких не охопило наше перше вимірювання: як швидко Mac читає довгі промпти та на моделі, яка не поміститься на машині зі 128 ГБ.
Як тестував Vše Smart
- Обладнання: Mac Studio M5 Ultra (80-ядерний GPU), 256 ГБ, macOS 27.0.1, без інших запущених програм.
- Програмне забезпечення: llama.cpp з усіма шарами на GPU та MLX 0.32 з mlx-lm. Споживання й температури записував macmon.
- Моделі: Qwen3 8B, Qwen3 30B-A3B, Llama 3.3 70B, gpt-oss-120b і Qwen3 235B-A22B, усі в 4-бітній квантизації (gpt-oss у MXFP4). Qwen3 235B лише в MLX.
- Тести: промпти з 512, 4096 і 16 384 токенів зі 128 згенерованими токенами, а також десять хвилин безперервного навантаження. Виміряно 24 жовтня 2026 р.
Результати
| Модель | Пам’ять | Генерація, llama.cpp | Генерація, MLX | Промпт 4k, llama.cpp | Промпт 4k, MLX |
|---|---|---|---|---|---|
| Qwen3 8B | ≈ 5 ГБ | 149 | 176 | 4 205 | 6 360 |
| Qwen3 30B-A3B | ≈ 18 ГБ | 172 | 159 | 4 535 | 9 870 |
| Llama 3.3 70B | ≈ 42 ГБ | 23 | 25 | 509 | 716 |
| gpt-oss-120b | ≈ 63 ГБ | 142 | 130 | 3 387 | 6 538 |
| Qwen3 235B-A22B | ≈ 133 ГБ | – | 46 | – | 1 656 |
Токени за секунду з порожнім контекстом: генерація 128 токенів і читання промпту з 4096 токенів. Qwen3 235B тестували лише в MLX. Джерело: Vše Smart, виміряно 24 жовтня 2026 р.
MLX читає промпти до двох разів швидше
Перш ніж модель напише перше слово, вона має прочитати весь промпт, наприклад документ, який треба підсумувати. За даними Vše Smart, MLX читав промпти в 1,4–2,2 раза швидше за llama.cpp з кожною моделлю, найбільше — з Qwen3 30B-A3B. З gpt-oss-120b у MLX документ на 4000 токенів читається значно менше ніж за секунду. Під час генерації явного переможця не було, тож варто спробувати обидва варіанти з власною моделлю.
Довгий контекст
| Модель | Генерація | Читання промпту |
|---|---|---|
| Qwen3 8B | 121 | 5 240 |
| Qwen3 30B-A3B | 115 | 6 822 |
| Llama 3.3 70B | 22 | 650 |
| gpt-oss-120b | 114 | 6 332 |
| Qwen3 235B-A22B | 33 | 1 289 |
MLX, промпт із 16 384 токенів, після нього 128 згенерованих токенів, токени за секунду. Джерело: Vše Smart.
З промптом на 16 384 токени генерація в MLX сповільнилася приблизно на 12–31 відсоток залежно від моделі.
Qwen3 235B потребує більше ніж 128 ГБ
Найбільша модель зайняла близько 133 ГБ пам’яті та генерувала близько 46 токенів за секунду — швидше, ніж читає більшість людей. На Mac зі 128 ГБ вона б не помістилася, і саме тут конфігурація з 256 ГБ має значення.
Температури, споживання та порівняння з M3 Ultra
GPU нагрівся максимум до 87 °C, а чип під час читання промптів споживав до 215 Вт. Вентилятор розкрутився до 2265 об/хв, тобто 62 відсотки максимуму, а за десять хвилин безперервного навантаження тест не зафіксував тротлінгу. У стандартному тесті llama.cpp з Llama 2 7B (Q4_0) стаття оцінює, що M5 Ultra читає промпти приблизно в 3,5 раза, а генерує приблизно вдвічі швидше за M3 Ultra. Автор зазначає, що дані для M3 Ultra взято з таблиці спільноти llama.cpp, виміряної старішими версіями, тож порівняння лише орієнтовне.
Як зазначає стаття, тест вимірює швидкість, а не якість відповідей, використовує лише 4-бітну квантизацію та поодинокі запити й наводить споживання чипа, а не всього комп’ютера.
Спробуйте самі
Mac Studio M5 Ultra з 256 ГБ можна орендувати вже на один день і протестувати на ньому власні моделі. Як він поводиться під тривалим навантаженням, показує наш годинний тест навантаження.