NL
3 november 2026 · Jakub M.
MacBook Pro M5 Max met 128 GB: hoe ver een laptop komt met lokale AI
Vše Smart draaide zes open modellen van 8 tot 120 miljard parameters op een MacBook Pro M5 Max met 128 GB. Ze pasten allemaal zonder systeemaanpassingen, gpt-oss-120b genereert 110 tokens per seconde en de chip verbruikt maar 37–50 W. Bij lange contexten en grote dense modellen raakt de laptop buiten adem.
Bron: MacBook Pro M5 Max se 128 GB RAM v testu lokálních AI modelů, Ludvík Eckerman, Vše Smart, 2 november 2026 (in het Tsjechisch). Alle cijfers hieronder komen uit dat artikel.
Kan een laptop serieuze lokale AI aan? De Tsjechische site Vše Smart testte de krachtigste MacBook Pro, met M5 Max-chip (18-core CPU, 40-core GPU) en 128 GB unified memory met een bandbreedte van 614 GB/s. Zes open modellen, twee inference-engines en een blik op het verbruik.
Hoe er is getest
- Systeem: macOS 27.2, modus Hoog vermogen, aan de netstroom, standaard geheugenlimiet voor de GPU (ongeveer 107 GB).
- Software: llama.cpp (build 11669, Metal) en MLX 0.32.4 met mlx-lm 0.32.2.
- Modellen: Llama 3.1 8B, gpt-oss-20b, Qwen3 30B-A3B, Qwen3 32B, Llama 3.3 70B en gpt-oss-120b in 4-bitkwantisatie (gpt-oss in zijn eigen MXFP4).
- Methode: contexten van 0 tot 32.768 tokens, telkens drie runs; vermogen van de chip gemeten met powermetrics; tien minuten continue belasting met Qwen3 30B-A3B.
Resultaten
| Model | Generatie, llama.cpp | Generatie, MLX | Generatie bij context 32k (MLX) | Eerste token bij 32k (MLX) | Piekgeheugen (MLX) | Vermogen chip | Tokens per watt |
|---|---|---|---|---|---|---|---|
| Llama 3.1 8B | 102 | 115 | 60 | 17 s | 9,5 GB | 49,8 W | 2,02 |
| gpt-oss-20b | 156 | 142 | 105 | 7,5 s | 13,7 GB | 48,5 W | 3,24 |
| Qwen3 30B-A3B | 155 | 152 | 72 | 15 s | 21,1 GB | 41,1 W | 3,69 |
| Qwen3 32B | 26 | 28 | 18 | 72 s | 27,8 GB | 48,3 W | 0,53 |
| Llama 3.3 70B | 12,5 | 13,6 | 10 | 132 s | 51,3 GB | 40,5 W | 0,31 |
| gpt-oss-120b | 110 | 94 | 70 | 13,5 s | 65,5 GB | 37,3 W | 2,92 |
Generatie in tokens per seconde, 4-bitmodellen (gpt-oss in MXFP4), lege context tenzij anders vermeld. Vermogen van de chip tijdens generatie in llama.cpp, alleen de chip (CPU, GPU, Neural Engine). Bron: Vše Smart, gepubliceerd op 2 november 2026.
In 128 GB past alles
Alle zes modellen draaiden zonder de geheugenlimiet te verhogen. Het grootste, gpt-oss-120b, piekte op 65,5 GB, dus er bleef ruim marge over. Dankzij de mixture-of-experts-architectuur genereert het in llama.cpp toch 110 tokens per seconde.
Mixture of experts wint, dense modellen hebben het zwaar
Het snelst waren modellen die per token maar een deel van hun parameters gebruiken: Qwen3 30B-A3B en gpt-oss-20b met ongeveer 155 tokens per seconde. Het dense Llama 3.3 70B haalde 12,5–13,6 tokens per seconde; met een context van 32.000 tokens zakte het naar ongeveer 10 en duurde het 132 seconden voor het eerste token. Voor lange documenten met grote dense modellen zit de laptop op zijn limiet.
Zuinig en stabiel
Tijdens het genereren verbruikte de chip 37–50 W, in rust ongeveer 2,1 W. Het zuinigst was Qwen3 30B-A3B met 3,69 tokens per watt. Tijdens tien minuten continue belasting hield het ongeveer 152 tokens per seconde vast, zonder tekenen van throttling. De cijfers gelden alleen voor de chip, niet voor de hele laptop, en de test liep aan de netstroom.
Als 128 GB niet genoeg is
De MacBook Pro M5 Max is een uitstekende draagbare machine voor modellen tot ongeveer 100 GB. Grotere modellen, zoals Qwen3 235B, dat ongeveer 133 GB nodig heeft, passen er helemaal niet in, en met dense modellen van 70B en lange contexten wordt hij traag. In ons duel der titanen was de Mac Studio M5 Ultra met deze modellen 2,5 tot 2,8 keer sneller.
Zoals het artikel aangeeft, mat de test de snelheid, niet de kwaliteit van de antwoorden.
Meer nodig?
Huur een Mac Studio M5 Ultra met 256 GB al vanaf één dag en draai de modellen die niet in een laptop passen.