DE
12. November 2026 · Jakub M.
Qwen3.5 397B auf einem einzigen Mac Studio M5 Ultra: 224 GB und 62 Token pro Sekunde
Ein Modell mit 397 Milliarden Parametern belegt in 4 Bit etwa 224 GB. Wir haben es auf einem einzigen Mac Studio M5 Ultra mit 256 GB laufen lassen: Es erzeugte rund 62 Token pro Sekunde, verarbeitete einen Kontext von 128.000 Token und brauchte keine Änderung der macOS-Einstellungen.
Unser bisher größter Test war Qwen3 235B mit etwa 133 GB. Diesmal sind wir an die Speichergrenze des Macs gegangen: Qwen3.5 397B-A17B, ein Mixture-of-Experts-Modell mit 397 Milliarden Parametern, von denen für jedes Token etwa 17 Milliarden arbeiten. Im 4-Bit-MLX-Format belegt es rund 224 GB.
So haben wir gemessen
- Hardware: Mac Studio mit Apple M5 Ultra (36-Core-CPU, 80-Core-GPU) und 256 GB gemeinsamem Arbeitsspeicher, macOS 27.2.1.
- Software: Python 3.12, MLX 0.32.4, mlx-lm 0.32.2, Modell
mlx-community/Qwen3.5-397B-A17B-4bit. - Test: das eingebaute Werkzeug
mlx_lm.benchmark, ein Prompt aus zufälligen Token mit festem Startwert und vor jeder Messung ein Aufwärmdurchlauf. Prompts mit 512 und 8.192 Token und 128 generierten Token (drei bzw. zwei Durchläufe), danach längere Prompts bis 131.072 Token mit 64 generierten Token (je eine Messung).
Ergebnisse
| Prompt (Token) | Prompt-Verarbeitung (Tok/s) | Generierung (Tok/s) | Spitzenspeicher |
|---|---|---|---|
| 512 | 159 | 61,6 | 224,3 GB |
| 8.192 | 1.265 | 59,9 | 226,8 GB |
| 16.384 | 1.432 | 58,3 | 227,0 GB |
| 32.768 | 1.500 | 55,1 | 227,5 GB |
| 65.536 | 1.345 | 50,3 | 228,5 GB |
| 131.072 | 1.080 | 44,1 | 230,6 GB |
Qwen3.5 397B-A17B, 4-Bit-MLX (mlx-community), mlx-lm 0.32.2, macOS 27.2.1, gemessen am 12. November 2026. 512 und 8.192 Token: 128 generierte Token, Mittel aus 3 bzw. 2 Durchläufen; längere Prompts: 64 generierte Token, ein Durchlauf. Der Wert beim 512-Token-Prompt schwankte zwischen den Durchläufen (141 bis 195 Tok/s).
Keine Einstellung nötig
Wir hatten erwartet, dass das Modell mit den Standardeinstellungen nicht passt. Ältere macOS-Versionen ließen die GPU nur etwa drei Viertel des Speichers nutzen, bei einem Mac mit 256 GB also rund 192 GB. Auf unserem Mac mit macOS 27.2.1 meldet Metal jedoch ein empfohlenes Limit von 240 GB (257,7 Milliarden Byte), also den gesamten Speicher außer 16 GB. Das Modell lief mit Standardeinstellungen genauso schnell wie mit manuell gesetztem Limit, der Swap blieb unter 45 MB und macOS meldete durchgehend normalen Speicherdruck. Denselben Wert von 240 GB haben wir auf unserem zweiten Mac mit 256 GB gemessen. Unseren RAM-Rechner haben wir entsprechend angepasst.
Für Mieter ist das wichtig: Sie haben keine Administratorrechte und könnten das Limit daher nicht selbst anheben. Auf diesen Macs müssen sie es nicht.
Langer Kontext kostet wenig Speicher
Zwischen einem Prompt mit 512 Token und einem mit 131.072 Token stieg der Spitzenspeicher nur um etwa 6 GB, von 224,3 auf 230,6 GB. Selbst beim längsten Kontext blieben über 25 GB für das System frei. Die Geschwindigkeit sinkt dagegen mit wachsendem Kontext: Die Generierung fiel von 62 auf 44 Token pro Sekunde, was zum Lesen immer noch angenehm ist.
Größer und trotzdem schneller
In unserem Test vom Oktober erzeugte Qwen3 235B 46 Token pro Sekunde mit leerem Kontext und 33 mit einem Prompt von 16.384 Token. Qwen3.5 397B ist fast doppelt so groß und erzeugt in vergleichbaren Situationen trotzdem rund 62 bzw. 58 Token pro Sekunde. Der Grund ist die geringere Zahl aktiver Parameter pro Token: etwa 17 statt 22 Milliarden. Der Oktober-Test lief mit einer älteren Softwareversion und einer etwas anderen Methode; der Vergleich ist daher nur ein Anhaltspunkt.
Leistungsaufnahme
Während des Tests nahm der Chip (CPU und GPU) höchstens etwa 104 W auf, gemessen mit powermetrics in 2-Sekunden-Schritten. Einen Mittelwert geben wir nicht an, weil die Messung auch das Laden des Modells und Pausen umfasste.
Grenzen des Tests
Wir haben ein Modell auf einem Mac mit einzelnen Anfragen gemessen. Ein Prompt aus zufälligen Token liefert reine Geschwindigkeitswerte; bei echten Aufgaben kann die Geschwindigkeit abweichen. Die Qualität der Antworten misst der Test nicht, und die 4-Bit-Version kann etwas schlechter antworten als das volle Modell.
Selbst ausprobieren
Wenn Sie ein Modell dieser Größe nutzen möchten, ohne einen Mac für über 12.000 € zu kaufen, können Sie einen Mac Studio M5 Ultra mit 256 GB mieten, schon ab einem Tag.