DE
3. November 2026 · Jakub M.
MacBook Pro M5 Max mit 128 GB: Wie weit ein Notebook bei lokaler KI kommt
Vše Smart ließ sechs offene Modelle mit 8 bis 120 Milliarden Parametern auf einem MacBook Pro M5 Max mit 128 GB laufen. Alle passten ohne Systemeingriffe, gpt-oss-120b erzeugt 110 Token pro Sekunde und der Chip zieht nur 37–50 W. Bei langen Kontexten und großen dichten Modellen geht dem Notebook die Luft aus.
Quelle: MacBook Pro M5 Max se 128 GB RAM v testu lokálních AI modelů, Ludvík Eckerman, Vše Smart, 2. November 2026 (auf Tschechisch). Alle Zahlen unten stammen aus diesem Artikel.
Schafft ein Notebook ernsthafte lokale KI? Die tschechische Website Vše Smart hat das stärkste MacBook Pro getestet: M5 Max (18-Kern-CPU, 40-Kern-GPU) und 128 GB gemeinsamer Arbeitsspeicher mit 614 GB/s Bandbreite. Sechs offene Modelle, zwei Engines und ein Blick auf den Verbrauch.
So wurde getestet
- System: macOS 27.2, Modus „Hohe Leistung“, am Netzteil, Standard-Speicherlimit für die GPU (etwa 107 GB).
- Software: llama.cpp (Build 11669, Metal) sowie MLX 0.32.4 mit mlx-lm 0.32.2.
- Modelle: Llama 3.1 8B, gpt-oss-20b, Qwen3 30B-A3B, Qwen3 32B, Llama 3.3 70B und gpt-oss-120b in 4-Bit-Quantisierung (gpt-oss im nativen MXFP4).
- Methode: Kontexte von 0 bis 32.768 Token, je drei Durchläufe, Leistungsaufnahme des Chips per powermetrics, zehnminütige Dauerlast mit Qwen3 30B-A3B.
Ergebnisse
| Modell | Generierung, llama.cpp | Generierung, MLX | Generierung bei 32k Kontext (MLX) | Erstes Token bei 32k (MLX) | Spitzenspeicher (MLX) | Leistungsaufnahme Chip | Token pro Watt |
|---|---|---|---|---|---|---|---|
| Llama 3.1 8B | 102 | 115 | 60 | 17 s | 9,5 GB | 49,8 W | 2,02 |
| gpt-oss-20b | 156 | 142 | 105 | 7,5 s | 13,7 GB | 48,5 W | 3,24 |
| Qwen3 30B-A3B | 155 | 152 | 72 | 15 s | 21,1 GB | 41,1 W | 3,69 |
| Qwen3 32B | 26 | 28 | 18 | 72 s | 27,8 GB | 48,3 W | 0,53 |
| Llama 3.3 70B | 12,5 | 13,6 | 10 | 132 s | 51,3 GB | 40,5 W | 0,31 |
| gpt-oss-120b | 110 | 94 | 70 | 13,5 s | 65,5 GB | 37,3 W | 2,92 |
Generierung in Token pro Sekunde, 4-Bit-Modelle (gpt-oss in MXFP4), mit leerem Kontext, sofern nicht anders angegeben. Leistungsaufnahme des Chips bei der Generierung in llama.cpp, nur Chip (CPU, GPU, Neural Engine). Quelle: Vše Smart, veröffentlicht am 2. November 2026.
In 128 GB passt alles
Alle sechs Modelle liefen, ohne das Speicherlimit anzuheben. Das größte, gpt-oss-120b, belegte in der Spitze 65,5 GB, es blieb also viel Reserve. Dank Mixture-of-Experts-Architektur erzeugt es in llama.cpp trotzdem 110 Token pro Sekunde.
Mixture of Experts gewinnt, dichte Modelle quälen sich
Am schnellsten waren Modelle, die pro Token nur einen Teil ihrer Parameter nutzen: Qwen3 30B-A3B und gpt-oss-20b mit rund 155 Token pro Sekunde. Das dichte Llama 3.3 70B schaffte 12,5–13,6 Token pro Sekunde, mit 32.000 Token Kontext sank es auf etwa 10, und auf das erste Token wartete man 132 Sekunden. Für lange Dokumente mit großen dichten Modellen ist das Notebook am Limit.
Sparsam und stabil
Beim Generieren zog der Chip 37–50 W, im Leerlauf etwa 2,1 W. Am effizientesten war Qwen3 30B-A3B mit 3,69 Token pro Watt. Über zehn Minuten Dauerlast hielt es rund 152 Token pro Sekunde ohne Anzeichen von Drosselung. Die Werte gelten nur für den Chip, nicht für das ganze Notebook, und der Test lief am Netzteil.
Wenn 128 GB nicht reichen
Das MacBook Pro M5 Max ist eine hervorragende mobile Maschine für Modelle bis etwa 100 GB. Größere Modelle wie Qwen3 235B, das etwa 133 GB braucht, passen gar nicht hinein, und mit dichten 70B-Modellen und langem Kontext wird es langsam. In unserem Duell der Titanen war das Mac Studio M5 Ultra mit diesen Modellen 2,5- bis 2,8-mal schneller.
Wie der Artikel betont, wurde die Geschwindigkeit gemessen, nicht die Qualität der Antworten.
Mehr gebraucht?
Mieten Sie ein Mac Studio M5 Ultra mit 256 GB schon ab einem Tag und betreiben Sie die Modelle, die in kein Notebook passen.