12 november 2026 · Jakub M.

Qwen3.5 397B op één Mac Studio M5 Ultra: 224 GB en 62 tokens per seconde

Een model met 397 miljard parameters neemt in 4 bit ongeveer 224 GB in beslag. We draaiden het op één Mac Studio M5 Ultra met 256 GB: het genereerde zo’n 62 tokens per seconde, verwerkte een context van 128.000 tokens en vroeg om geen enkele aanpassing van macOS.

Onze grootste test tot nu toe was Qwen3 235B van ongeveer 133 GB. Deze keer gingen we tot de grens van het geheugen van de Mac: Qwen3.5 397B-A17B, een mixture-of-experts-model met 397 miljard parameters, waarvan er per token ongeveer 17 miljard werken. In 4-bit MLX-formaat neemt het zo’n 224 GB in beslag.

Hoe we hebben gemeten

• Hardware: Mac Studio met Apple M5 Ultra (36-core CPU, 80-core GPU) en 256 GB unified memory, macOS 27.2.1.
• Software: Python 3.12, MLX 0.32.4, mlx-lm 0.32.2, model mlx-community/Qwen3.5-397B-A17B-4bit.
• Test: de ingebouwde tool mlx_lm.benchmark, een prompt van willekeurige tokens met een vaste seed en een opwarmrun vóór elke meting. Prompts van 512 en 8.192 tokens met 128 gegenereerde tokens (drie en twee runs), daarna langere prompts tot 131.072 tokens met 64 gegenereerde tokens (telkens één meting).

Resultaten

Qwen3.5 397B-A17B, 4-bit MLX (mlx-community), mlx-lm 0.32.2, macOS 27.2.1, gemeten op 12 november 2026. 512 en 8.192 tokens: 128 gegenereerde tokens, gemiddelde van 3 en 2 runs; langere prompts: 64 gegenereerde tokens, één meting. De waarde bij de prompt van 512 tokens wisselde per run (141 tot 195 tok/s).

Niets in te stellen

We verwachtten dat het model met de standaardinstellingen niet zou passen. Oudere macOS-versies lieten de GPU maar ongeveer driekwart van het geheugen gebruiken, op een Mac met 256 GB dus zo’n 192 GB. Op onze Mac met macOS 27.2.1 meldt Metal echter een aanbevolen limiet van 240 GB (257,7 miljard bytes), dus al het geheugen behalve 16 GB. Het model draaide met de standaardinstellingen even snel als met een handmatig ingestelde limiet, de swap bleef onder 45 MB en macOS meldde de hele tijd normale geheugendruk. Op onze tweede Mac met 256 GB maten we dezelfde 240 GB. We hebben onze RAM-calculator daarop aangepast.

Voor huurders is dat belangrijk: ze hebben geen beheerdersrechten en zouden de limiet dus niet zelf kunnen verhogen. Op deze Macs hoeft dat niet.

Lange context kost weinig geheugen

Tussen een prompt van 512 tokens en een van 131.072 tokens steeg het piekgeheugen maar met zo’n 6 GB, van 224,3 naar 230,6 GB. Zelfs bij de langste context bleef er meer dan 25 GB vrij voor het systeem. De snelheid daalt wel naarmate de context groeit: de generatie ging van 62 naar 44 tokens per seconde, nog steeds een prettig leestempo.

Groter en toch sneller

In onze test van oktober genereerde Qwen3 235B 46 tokens per seconde met een lege context en 33 met een prompt van 16.384 tokens. Qwen3.5 397B is bijna twee keer zo groot en genereert in vergelijkbare situaties toch zo’n 62 en 58 tokens per seconde. De reden is het kleinere aantal actieve parameters per token: ongeveer 17 miljard in plaats van 22. De test van oktober gebruikte een oudere softwareversie en een iets andere methode, dus zie de vergelijking als indicatie.

Verbruik

Tijdens de test verbruikte de chip (CPU en GPU) maximaal ongeveer 104 W, gemeten met powermetrics in stappen van 2 seconden. Een gemiddelde geven we niet, omdat de meting ook het laden van het model en pauzes omvatte.

Beperkingen van de test

We hebben één model op één Mac gemeten, met losse verzoeken. Een prompt van willekeurige tokens geeft pure snelheidscijfers; bij echte taken kan de snelheid afwijken. De test meet de kwaliteit van de antwoorden niet, en de 4-bitversie kan iets minder goed antwoorden dan het volledige model.

Probeer het zelf

Wil je een model van deze omvang draaien zonder een Mac van meer dan € 12.000 te kopen, dan kun je een Mac Studio M5 Ultra met 256 GB huren, al vanaf één dag.

Huur aanvragen Prestaties

← Alle artikelen