DE
15. Oktober 2026 · Jakub M.
Mac Studio M5 Ultra mit 256 GB und lokale KI: Wir haben sechs Modelle gemessen
Wie viele Token pro Sekunde liefert ein Mac Studio mit M5 Ultra und 256 GB Unified Memory wirklich? Wir haben sechs beliebte offene Modelle von 9 bis 120 Milliarden Parametern laufen lassen, mit leerem und langem Kontext, und auch den Speicherverbrauch notiert.
Benchmarks von Apple Silicon für lokale Sprachmodelle zeigen meist eine Zahl für ein Modell, ohne zu sagen, wie sie entstanden ist. Wir wollten vollständige und wiederholbare Zahlen, deshalb haben wir alle Modelle gleich gemessen und die Methode aufgeschrieben.
Worauf und wie wir gemessen haben
- Hardware: Mac Studio mit Apple M5 Ultra, 256 GB Unified Memory und 4-TB-SSD. Es ist genau der Rechner, den wir vermieten.
- Software: macOS 27.0.1, Python 3.12 und mlx-lm 0.32, aufgebaut auf Apples Framework MLX.
- Modelle: MLX-Konvertierungen der Organisation mlx-community auf Hugging Face, in 4-Bit-Quantisierung. Die gpt-oss-Modelle nutzen MXFP4 für die Experten-Gewichte (Varianten „MXFP4-Q8“), Gemma 4 31B ist die QAT-4-Bit-Version.
- Test: 512 Prompt-Token, gefolgt von 128 generierten Token, mit 0, 8.192 und 32.768 Token bereits im Kontext. Läufe mit leerem Kontext haben wir zweimal gemacht und gemittelt, die längeren Kontexte einmal. Der Prompt besteht aus zufälligen Token. Bei echten Prompts und längeren Antworten kann die Geschwindigkeit abweichen.
- Speicher: der von MLX während des Tests gemeldete Spitzenwert, einschließlich Modellgewichten und Kontext-Cache.
Ergebnisse
| Modell | Typ | Größe | Gen., leer | Gen., 8k | Gen., 32k | Speicher, leer | Speicher, 32k |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | dense | 6,0 GB | 167 | 161 | 141 | 5,5 GB | 7,4 GB |
| gpt-oss-20b | MoE | 12,1 GB | 184 | 172 | 145 | 11,7 GB | 12,8 GB |
| Qwen3.5 27B | dense | 16,1 GB | 55 | 53 | 48 | 15,3 GB | 18,8 GB |
| Gemma 4 31B | dense | 28,8 GB | 31 | 27 | 21 | 26,6 GB | 31,5 GB |
| Qwen3.5 35B-A3B | MoE | 20,4 GB | 162 | 154 | 141 | 18,8 GB | 20,6 GB |
| gpt-oss-120b | MoE | 63,4 GB | 120 | 113 | 96 | 59,5 GB | 61,0 GB |
Generierungsgeschwindigkeit in Token pro Sekunde. „Leer“, „8k“ und „32k“ ist die Zahl der Token, die bereits im Kontext stehen. Speicher ist der von MLX gemeldete Spitzenwert. Das sind Ergebnisse, gemessen unter den genannten Bedingungen, keine Garantie: Die tatsächliche Geschwindigkeit hängt von Modell, Quantisierung, Kontextlänge, Softwarekonfiguration und Aufgabe ab.
Was die Zahlen sagen
Mixture-of-Experts-Modelle sind viel schneller
Das schnellste Modell im Test ist nicht das kleinste. gpt-oss-20b erzeugt 184 Token pro Sekunde, und selbst gpt-oss-120b kommt auf 120. Beide sind Mixture-of-Experts-Modelle (MoE): Für jedes Token nutzen sie nur einen kleinen Teil ihrer Parameter, laut OpenAI etwa 3,6 Milliarden bei gpt-oss-20b und 5,1 Milliarden bei gpt-oss-120b. Qwen3.5 35B-A3B funktioniert genauso mit rund 3 Milliarden aktiven Parametern und erreicht 162 Token pro Sekunde.
Dichte Modelle nutzen für jedes Token alle Parameter und sind deshalb langsamer: Qwen3.5 27B erzeugt 55 Token pro Sekunde, Gemma 4 31B 31. Selbst das langsamste Modell im Test schreibt mit 31 Token pro Sekunde schneller, als die meisten Menschen lesen.
Ein langer Kontext kostet 12 bis 32 Prozent
Mit 32.768 Token bereits im Kontext wurde die Generierung bei den meisten Modellen um 12 bis 21 Prozent langsamer. Am meisten verlor Gemma 4 31B, von 31 auf 21 Token pro Sekunde, etwa ein Drittel. Wenn Sie mit langen Dokumenten oder großen Codebasen arbeiten, ist das die Spalte, auf die Sie schauen sollten.
256 GB lassen viel Platz
Das größte getestete Modell, gpt-oss-120b, brauchte samt Kontext von 32k 61 GB, weniger als ein Viertel des Speichers. Nach unserer Rechnung reicht der Rest für viel größere Modelle, zum Beispiel Qwen3.5 122B-A10B (etwa 70 GB in 4 Bit) oder sogar Qwen3.5 397B-A17B, dessen 4-Bit-Dateien 224 GB belegen. Diese haben wir noch nicht getestet, und auch Kontext und System brauchen Speicher. Außerdem lassen sich mehrere Modelle nebeneinander betreiben, zum Beispiel ein großes Modell für Antworten und ein kleines für schnelles Routing oder Embeddings.
Was wir nicht gemessen haben
- Geschwindigkeit der Prompt-Verarbeitung. Unser kurzer Test mit 512 Token lieferte schwankende Ergebnisse, je nach Modell etwa zwischen 500 und 5.000 Token pro Sekunde. Das reicht für die Aussage, dass das Einlesen eines Prompts um ein Vielfaches schneller ist als das Generieren, aber nicht für genaue Zahlen. Eine längere Messung reichen wir nach.
- Andere Laufzeitumgebungen. Wir haben nur MLX verwendet. llama.cpp, Ollama oder GGUF-Modelle in LM Studio können andere Ergebnisse liefern.
- Antwortqualität, Leistungsaufnahme und die größten Modelle (122B und 397B). Die stehen als Nächstes auf unserer Liste.
Probieren Sie es mit Ihrer eigenen Arbeit
Zahlen aus einem fremden Test beantworten nie ganz, ob ein Rechner für Ihre Arbeit passt. Deshalb vermieten wir genau diesen Mac Studio, ab einem Tag, per SSH oder Remote Desktop. Wenn Sie über einen Kauf nachdenken, können Sie darauf zuerst Ihre eigenen Modelle und Daten ausprobieren.