16 жовтня 2026 р. · Jakub Mokříš
П’ятнадцять моделей ШІ на Mac Studio M5 Ultra: скільки токенів за секунду ви отримуєте насправді
Чеський сайт Vše Smart запустив на Mac Studio з M5 Ultra і 256 ГБ пам’яті 32 локальні мовні моделі. Ми вибрали з них п’ятнадцять, від невеликої Qwen3 4B до Mistral Large на 123 мільярди параметрів, і подивилися, що ці цифри означають для щоденної роботи.
Порівняння швидкості локальних моделей зазвичай обмежуються двома-трьома назвами. Редакція Vše Smart виміряла на Mac Studio M5 Ultra з 256 ГБ уніфікованої пам’яті тридцять дві моделі, кожну по одинадцять разів. Ми взяли з результатів п’ятнадцять, які добре охоплюють усе поле: малі й великі, щільні й mixture of experts.
Як вимірювали
Моделі працювали в Ollama під керуванням простого скрипту на Python. Кожна отримала однакове завдання, довгий технічний текст про будову сучасних автомобілів, з лімітом 2000 вихідних токенів, температурою 0 і контекстом 8192 токени. Перший запуск кожної моделі відкидали як розігрів, а результат — це середнє з наступних десяти. Між моделями була півхвилинна пауза.
Увесь тест тривав понад чотири години, і за цей час моделі згенерували понад 700 тисяч токенів. Вимірювали лише швидкість; якість відповідей тест не оцінював.
Результати
| Модель | Тип | Швидкість генерації |
|---|---|---|
| Qwen3 4B | щільна | |
| Qwen3 30B-A3B | MoE, активних 3B | |
| gpt-oss-20b | MoE, активних 3,6B | |
| Qwen3.5 35B-A3B | MoE, активних 3B | |
| Qwen3.5 9B | щільна | |
| gpt-oss-120b | MoE, активних 5,1B | |
| Gemma 4 26B-A4B | MoE, активних 4B | |
| Qwen3-Next 80B-A3B | MoE, активних 3B | |
| Qwen3.5 122B-A10B | MoE, активних 10B | |
| Llama 4 Scout | MoE, активних 17B | |
| Mistral Small 3.2 24B | щільна | |
| Qwen3.5 27B | щільна | |
| Gemma 4 31B | щільна | |
| Llama 3.3 70B | щільна | |
| Mistral Large 123B | щільна |
Середнє з десяти запусків в Ollama, 2000 вихідних токенів, контекст 8k. MoE — mixture of experts, «активних» означає кількість параметрів, задіяних для кожного токена. Дані: Vše Smart.
Розмір мало що каже про швидкість
Найкраще це видно на парі gpt-oss-120b і Llama 3.3 70B. Модель від OpenAI має більше параметрів (117 млрд проти 70), але пише вп’ятеро швидше: 115 токенів за секунду проти 23. Різницю дає архітектура. gpt-oss-120b — модель типу mixture of experts, і для кожного токена вона задіює лише близько п’яти мільярдів параметрів. Llama 3.3 щільна, тож щоразу проходить через усі сімдесят мільярдів.
Те саме видно в Qwen. Версія 122B-A10B з десятьма мільярдами активних параметрів дає 85 токенів за секунду, а щільна Qwen3.5 27B, учетверо менша, лише 48. Якщо для вас головне швидкість, дивіться на кількість активних параметрів, а не на загальний розмір.
Скільки достатньо
Для звичайного чату вистачає близько 20 токенів за секунду: з такою швидкістю текст з’являється швидше, ніж більшість людей його читає. З п’ятнадцяти моделей у таблиці нижче цієї межі лишилася тільки Mistral Large з 14 токенами. Утім, і вона знадобиться для задач, на які ніхто не чекає біля екрана, наприклад для нічної обробки документів.
Швидкість відчувається значно сильніше, коли асистент для програмування пише довгі блоки коду. Там має сенс брати моделі понад 80 токенів за секунду, наприклад gpt-oss-120b, Qwen3-Next 80B або Qwen3.5 122B.
Це збігається з нашими вимірюваннями
Кілька тих самих моделей ми виміряли самі на нашому Mac Studio, щоправда в MLX замість Ollama і трохи іншим методом. Цифри відрізняються на кілька чи кілька десятків відсотків, але загальна картина та сама. gpt-oss-120b дав нам 120 токенів за секунду (у Vše Smart 115), gpt-oss-20b — 184 (169), Qwen3.5 27B — 55 (48). Gemma 4 31B у нас, навпаки, вийшла повільнішою, 31 проти 40, бо ми брали іншу версію моделі. Подробиці є в нашій статті з вимірюваннями.
Спробуйте самі
Усі тридцять дві моделі вмістилися в 256 ГБ пам’яті, і ще лишилося місце. Якщо ви думаєте про купівлю такого комп’ютера або потребуєте потужності лише на кілька днів, наш Mac Studio M5 Ultra з 256 ГБ можна орендувати. Оренда на день і тиждень зараз безкоштовна.
Джерело даних: Vše Smart: Mac Studio M5 Ultra в тесті 32 локальних моделей ШІ (Ludvík Eckerman, 5 жовтня 2026 р., чеською).