15 października 2026 · Jakub Mokříš
Mac Studio M5 Ultra z 256 GB i lokalna AI: zmierzyliśmy sześć modeli
Ile tokenów na sekundę naprawdę daje Mac Studio z M5 Ultra i 256 GB pamięci zunifikowanej? Uruchomiliśmy sześć popularnych otwartych modeli od 9 do 120 miliardów parametrów, z pustym i długim kontekstem, i zapisaliśmy też zużycie pamięci.
Testy Apple Silicon dla lokalnych modeli językowych zwykle pokazują jedną liczbę dla jednego modelu i nie mówią, jak powstała. Chcieliśmy liczb pełnych i powtarzalnych, dlatego mierzyliśmy wszystkie modele tak samo i opisaliśmy metodę.
Na czym i jak mierzyliśmy
- Sprzęt: Mac Studio z Apple M5 Ultra, 256 GB pamięci zunifikowanej i dyskiem SSD 4 TB. To dokładnie ta maszyna, którą wynajmujemy.
- Oprogramowanie: macOS 27.0.1, Python 3.12 i mlx-lm 0.32, oparte na frameworku MLX od Apple.
- Modele: wersje MLX od społeczności mlx-community na Hugging Face w kwantyzacji 4-bitowej. Modele gpt-oss mają wagi ekspertów w formacie MXFP4 (warianty „MXFP4-Q8”), Gemma 4 31B to wersja QAT 4-bit.
- Test: 512 tokenów promptu, a po nich 128 wygenerowanych tokenów, przy 0, 8192 i 32 768 tokenach już w kontekście. Przy pustym kontekście mierzyliśmy dwa razy i uśredniliśmy wynik, przy dłuższym raz. Prompt składa się z losowych tokenów, bo prędkość nie zależy od treści.
- Pamięć: szczytowe zużycie raportowane przez MLX podczas testu, łącznie z wagami modelu i pamięcią podręczną kontekstu.
Wyniki
| Model | Typ | Rozmiar | Gen., pusty | Gen., 8k | Gen., 32k | Pamięć, pusty | Pamięć, 32k |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | gęsty | 6,0 GB | 167 | 161 | 141 | 5,5 GB | 7,4 GB |
| gpt-oss-20b | MoE | 12,1 GB | 184 | 172 | 145 | 11,7 GB | 12,8 GB |
| Qwen3.5 27B | gęsty | 16,1 GB | 55 | 53 | 48 | 15,3 GB | 18,8 GB |
| Gemma 4 31B | gęsty | 28,8 GB | 31 | 27 | 21 | 26,6 GB | 31,5 GB |
| Qwen3.5 35B-A3B | MoE | 20,4 GB | 162 | 154 | 141 | 18,8 GB | 20,6 GB |
| gpt-oss-120b | MoE | 63,4 GB | 120 | 113 | 96 | 59,5 GB | 61,0 GB |
Prędkość generowania w tokenach na sekundę. „Pusty”, „8k” i „32k” to liczba tokenów już w kontekście. Pamięć to szczytowe zużycie raportowane przez MLX.
Co mówią liczby
Modele typu mixture-of-experts są znacznie szybsze
Najszybszy model w teście nie jest najmniejszy. gpt-oss-20b generuje 184 tokeny na sekundę, a nawet gpt-oss-120b osiąga 120. Oba to modele mixture-of-experts (MoE): dla każdego tokenu używają tylko małej części parametrów, według OpenAI około 3,6 mld w gpt-oss-20b i 5,1 mld w gpt-oss-120b. Tak samo działa Qwen3.5 35B-A3B z około 3 mld aktywnych parametrów i osiąga 162 tokeny na sekundę.
Modele gęste (dense) używają wszystkich parametrów dla każdego tokenu, dlatego są wolniejsze: Qwen3.5 27B generuje 55 tokenów na sekundę, a Gemma 4 31B 31. Dla porównania: około 20 tokenów na sekundę to już szybciej, niż większość ludzi czyta, więc nawet najwolniejszy model w teście wystarcza do wygodnego czatu.
Długi kontekst kosztuje od 12 do 32 procent
Przy 32 768 tokenach w kontekście generowanie w większości modeli zwolniło o 12 do 21 procent. Najwięcej straciła Gemma 4 31B, z 31 do 21 tokenów na sekundę, czyli około jednej trzeciej. Jeśli pracujesz z długimi dokumentami lub dużym kodem, patrz przede wszystkim na tę kolumnę.
256 GB zostawia dużo miejsca
Największy testowany model, gpt-oss-120b, potrzebował razem z kontekstem 32k tylko 61 GB, czyli mniej niż jedną czwartą pamięci. Reszta wystarczy na znacznie większe modele, na przykład Qwen3.5 122B-A10B (około 70 GB w wersji 4-bitowej), a nawet Qwen3.5 397B-A17B, którego 4-bitowe pliki zajmują 224 GB. Zmieści się też kilka modeli obok siebie, na przykład duży do odpowiedzi i mały do szybkiego kierowania zapytań lub embeddingów.
Czego nie mierzyliśmy
- Prędkości przetwarzania promptu. Nasz krótki test z 512 tokenami dawał zmienne wyniki, mniej więcej od 500 do 5000 tokenów na sekundę zależnie od modelu. To wystarcza, by stwierdzić, że wczytanie promptu jest wielokrotnie szybsze niż generowanie, ale nie na dokładne liczby. Dłuższy pomiar dodamy.
- Innych programów. Używaliśmy tylko MLX. llama.cpp, Ollama czy modele GGUF w LM Studio mogą dać inne wyniki.
- Jakości odpowiedzi, poboru mocy i największych modeli (122B i 397B). To nasze kolejne kroki.
Wypróbuj na własnej pracy
Liczby z cudzego testu nigdy w pełni nie odpowiedzą, czy maszyna nadaje się do Twojej pracy. Dlatego wynajmujemy właśnie ten Mac Studio, już od jednego dnia, przez SSH lub pulpit zdalny. Jeśli rozważasz zakup, możesz najpierw uruchomić na nim własne modele i dane.