DE
16. Oktober 2026 · Jakub M.
Fünfzehn KI-Modelle auf dem Mac Studio M5 Ultra: Wie viele Token pro Sekunde Sie wirklich bekommen
Die tschechische Technikseite Vše Smart hat 32 lokale Sprachmodelle auf einem Mac Studio mit M5 Ultra und 256 GB Speicher laufen lassen. Wir haben fünfzehn davon ausgewählt, vom kleinen Qwen3 4B bis zum Mistral Large mit 123 Milliarden Parametern, und angesehen, was die Zahlen für die tägliche Arbeit bedeuten.
Geschwindigkeitsvergleiche lokaler Modelle hören meist nach zwei oder drei Namen auf. Das Team von Vše Smart hat zweiunddreißig davon auf einem Mac Studio M5 Ultra mit 256 GB Unified Memory gemessen, jedes elfmal. Aus ihren Ergebnissen haben wir fünfzehn Modelle genommen, die das ganze Feld gut abdecken: kleine und große, dichte und Mixture-of-Experts.
So wurde gemessen
Die Modelle liefen in Ollama, gesteuert von einem einfachen Python-Skript. Jedes Modell bekam dieselbe Aufgabe, einen langen technischen Text darüber, wie moderne Autos gebaut werden, mit einem Limit von 2.000 Ausgabe-Token, Temperatur 0 und einem Kontext von 8.192 Token. Der erste Lauf jedes Modells wurde als Aufwärmrunde verworfen, das Ergebnis ist der Mittelwert der nächsten zehn. Zwischen den Modellen lag eine Pause von 30 Sekunden.
Der ganze Test dauerte über vier Stunden, und die Modelle erzeugten dabei mehr als 700.000 Token. Gemessen wurde nur die Geschwindigkeit; die Qualität der Antworten hat der Test nicht bewertet.
Ergebnisse
| Modell | Typ | Generierungsgeschwindigkeit |
|---|---|---|
| Qwen3 4B | dense | |
| Qwen3 30B-A3B | MoE, 3B aktiv | |
| gpt-oss-20b | MoE, 3,6B aktiv | |
| Qwen3.5 35B-A3B | MoE, 3B aktiv | |
| Qwen3.5 9B | dense | |
| gpt-oss-120b | MoE, 5,1B aktiv | |
| Gemma 4 26B-A4B | MoE, 4B aktiv | |
| Qwen3-Next 80B-A3B | MoE, 3B aktiv | |
| Qwen3.5 122B-A10B | MoE, 10B aktiv | |
| Llama 4 Scout | MoE, 17B aktiv | |
| Mistral Small 3.2 24B | dense | |
| Qwen3.5 27B | dense | |
| Gemma 4 31B | dense | |
| Llama 3.3 70B | dense | |
| Mistral Large 123B | dense |
Mittelwert aus zehn Läufen in Ollama, 2.000 Ausgabe-Token, Kontext 8k. MoE = Mixture of Experts; „aktiv“ ist die Zahl der Parameter, die für jedes Token genutzt werden. Daten: Vše Smart. Die Ergebnisse aus Ollama sind nicht direkt mit unseren MLX-Messungen vergleichbar. Das sind Ergebnisse, gemessen unter den genannten Bedingungen, keine Garantie: Die tatsächliche Geschwindigkeit hängt von Modell, Quantisierung, Kontextlänge, Softwarekonfiguration und Aufgabe ab.
Die Größe sagt wenig über die Geschwindigkeit
Das deutlichste Beispiel ist gpt-oss-120b gegen Llama 3.3 70B. Das Modell von OpenAI hat mehr Parameter (117 Milliarden gegen 70) und schreibt trotzdem fünfmal schneller: 115 Token pro Sekunde gegen 23. Der Unterschied liegt in der Architektur. gpt-oss-120b ist ein Mixture-of-Experts-Modell und nutzt für jedes Token nur etwa fünf Milliarden Parameter. Llama 3.3 ist dicht und arbeitet jedes Mal alle siebzig Milliarden durch.
Qwen zeigt dasselbe. Die Version 122B-A10B mit zehn Milliarden aktiven Parametern schafft 85 Token pro Sekunde, das dichte Qwen3.5 27B, ein Viertel so groß, kommt auf 48. Wenn Ihnen Geschwindigkeit wichtig ist, sagen die aktiven Parameter meist mehr als die Gesamtgröße, auch wenn Architektur, Quantisierung und Software ebenfalls eine Rolle spielen.
Wie schnell ist schnell genug
Für einen normalen Chat wirken etwa 20 Token pro Sekunde meist flüssig. Von den fünfzehn Modellen in der Tabelle liegt nur Mistral Large mit 14 Token pro Sekunde darunter. Es bleibt nützlich für Aufgaben, bei denen niemand dasitzt und wartet, etwa das Verarbeiten von Dokumenten über Nacht.
Viel wichtiger ist die Geschwindigkeit, wenn ein Coding-Assistent lange Codeblöcke schreibt. Dort sind Modelle über 80 Token pro Sekunde sinnvoll, zum Beispiel gpt-oss-120b, Qwen3-Next 80B oder Qwen3.5 122B.
Es passt zu unseren eigenen Messungen
Mehrere derselben Modelle haben wir auf unserem eigenen Mac Studio gemessen, mit MLX statt Ollama und einer etwas anderen Methode. Die Zahlen weichen um einige bis einige Dutzend Prozent ab, das Gesamtbild bleibt aber. gpt-oss-120b lieferte bei uns 120 Token pro Sekunde (Vše Smart: 115), gpt-oss-20b 184 (169) und Qwen3.5 27B 55 (48). Gemma 4 31B war bei uns langsamer, 31 gegen 40, weil wir eine andere Version des Modells verwendet haben. Details stehen in unserem Benchmark-Artikel.
Probieren Sie es selbst
Alle zweiunddreißig Modelle passten mit Reserve in 256 GB Speicher. Wenn Sie über den Kauf eines solchen Rechners nachdenken oder die Leistung nur für ein paar Tage brauchen, können Sie unseren Mac Studio M5 Ultra mit 256 GB mieten.
Datenquelle: Vše Smart: Mac Studio M5 Ultra im Test mit 32 lokalen KI-Modellen (Ludvík Eckerman, 5. Oktober 2026, auf Tschechisch).