12 listopada 2026 · Jakub M.

Qwen3.5 397B na jednym Mac Studio M5 Ultra: 224 GB i 62 tokeny na sekundę

Model z 397 miliardami parametrów zajmuje w 4 bitach około 224 GB. Uruchomiliśmy go na jednym Mac Studio M5 Ultra z 256 GB: generował około 62 tokenów na sekundę, obsłużył kontekst 128 tysięcy tokenów i nie wymagał żadnej zmiany ustawień macOS.

Nasz dotychczas największy test to Qwen3 235B zajmujący około 133 GB. Tym razem poszliśmy na granicę pamięci Maca: Qwen3.5 397B-A17B, model typu mixture-of-experts z 397 miliardami parametrów, z których dla każdego tokenu pracuje około 17 miliardów. W 4-bitowym formacie MLX zajmuje około 224 GB.

Jak mierzyliśmy

• Sprzęt: Mac Studio z Apple M5 Ultra (36-rdzeniowe CPU, 80-rdzeniowe GPU) i 256 GB pamięci zunifikowanej, macOS 27.2.1.
• Oprogramowanie: Python 3.12, MLX 0.32.4, mlx-lm 0.32.2, model mlx-community/Qwen3.5-397B-A17B-4bit.
• Test: wbudowane narzędzie mlx_lm.benchmark, prompt z losowych tokenów ze stałym ziarnem i przebieg rozgrzewkowy przed każdym pomiarem. Prompty o długości 512 i 8192 tokenów ze 128 wygenerowanymi tokenami (trzy i dwa powtórzenia), potem dłuższe prompty aż do 131 072 tokenów z 64 wygenerowanymi tokenami (po jednym pomiarze).

Wyniki

Qwen3.5 397B-A17B, 4-bitowy MLX (mlx-community), mlx-lm 0.32.2, macOS 27.2.1, pomiar 12 listopada 2026. 512 i 8192 tokenów: 128 wygenerowanych tokenów, średnia z 3 i 2 powtórzeń; dłuższe prompty: 64 wygenerowane tokeny, jeden pomiar. Wynik dla promptu 512 tokenów wahał się między powtórzeniami (141–195 tok/s).

Bez zmiany ustawień

Spodziewaliśmy się, że model nie zmieści się przy domyślnych ustawieniach. Starsze wersje macOS dawały grafice tylko około trzech czwartych pamięci, czyli w Macu z 256 GB około 192 GB. Na naszym Macu z macOS 27.2.1 Metal podaje jednak zalecany limit 240 GB (257,7 mld bajtów), czyli wszystko poza 16 GB. Model działał przy domyślnych ustawieniach równie szybko jak z ręcznie ustawionym limitem, swap pozostał poniżej 45 MB, a macOS przez cały czas zgłaszał normalne obciążenie pamięci. Tę samą wartość 240 GB zmierzyliśmy na naszym drugim Macu z 256 GB. Zgodnie z tym poprawiliśmy też nasz kalkulator RAM.

Dla najemców to ważne: nie mają uprawnień administratora, więc nie mogliby sami podnieść limitu. Na tych Makach nie muszą.

Długi kontekst kosztuje mało pamięci

Między promptem o długości 512 a 131 072 tokenów szczytowe zużycie pamięci wzrosło tylko o około 6 GB, z 224,3 do 230,6 GB. Nawet przy najdłuższym kontekście dla systemu zostało ponad 25 GB. Szybkość spada wraz z długością kontekstu: generowanie zmalało z 62 do 44 tokenów na sekundę, co nadal jest wygodnym tempem do czytania.

Większy, a mimo to szybszy

W naszym październikowym teście Qwen3 235B generował 46 tokenów na sekundę przy pustym kontekście i 33 przy prompcie o długości 16 384 tokenów. Qwen3.5 397B jest prawie dwa razy większy, a mimo to w porównywalnych sytuacjach generuje około 62 i 58 tokenów na sekundę. Powodem jest mniejsza liczba aktywnych parametrów na token: około 17 miliardów zamiast 22. Test z października działał na starszej wersji oprogramowania i nieco inną metodą, więc porównanie traktuj orientacyjnie.

Pobór mocy

W trakcie testu układ (CPU i GPU) pobierał najwyżej około 104 W, mierzone narzędziem powermetrics w próbkach co 2 sekundy. Nie podajemy średniej, bo pomiar obejmował też wczytywanie modelu i przerwy.

Ograniczenia testu

Zmierzyliśmy jeden model na jednym Macu przy pojedynczych zapytaniach. Prompt z losowych tokenów daje czyste wyniki wydajności; przy prawdziwych zadaniach szybkość może być inna. Test nie mierzy jakości odpowiedzi, a wersja 4-bitowa może odpowiadać nieco gorzej niż pełny model.

Sprawdź sam

Jeśli chcesz uruchomić model tej wielkości bez kupowania Maca za ponad 12 000 €, możesz wynająć Mac Studio M5 Ultra z 256 GB już na jeden dzień.

Zapytaj o wynajem Wydajność

← Wszystkie artykuły