IT
26 ottobre 2026 · Jakub M.
Mac Studio M5 Ultra alla prova: Qwen3 235B a 46 token al secondo e lettura rapida dei prompt
Il sito tecnologico ceco Vše Smart ha testato il Mac Studio M5 Ultra con 256 GB su cinque modelli linguistici in llama.cpp e MLX. Il più grande, Qwen3 235B, ha occupato 133 GB di memoria e generato 46 token al secondo. Ecco cosa significano i risultati se vuoi far girare modelli grandi.
Fonte: Mac Studio M5 Ultra v testu: Qwen3 235B a rychlost čtení promptů, Ludvík Eckerman, Vše Smart, 26 ottobre 2026 (in ceco). Tutti i numeri qui sotto provengono da quell’articolo.
Il sito ceco Vše Smart ha pubblicato un test dettagliato del Mac Studio con chip M5 Ultra. È la stessa configurazione che noleggiamo: GPU a 80 core e 256 GB di memoria unificata. Il test si concentra su due aspetti che il nostro primo benchmark non copriva: quanto velocemente il Mac legge prompt lunghi e un modello troppo grande per una macchina da 128 GB.
Come ha testato Vše Smart
- Hardware: Mac Studio M5 Ultra (GPU a 80 core), 256 GB, macOS 27.0.1, senza altro in esecuzione.
- Software: llama.cpp con tutti i livelli sulla GPU e MLX 0.32 con mlx-lm. Assorbimento e temperature registrati con macmon.
- Modelli: Qwen3 8B, Qwen3 30B-A3B, Llama 3.3 70B, gpt-oss-120b e Qwen3 235B-A22B, tutti a 4 bit (gpt-oss in MXFP4). Qwen3 235B solo in MLX.
- Test: prompt di 512, 4.096 e 16.384 token con 128 token generati, più dieci minuti di carico continuo. Misurato il 24 ottobre 2026.
Risultati
| Modello | Memoria | Generazione, llama.cpp | Generazione, MLX | Prompt 4k, llama.cpp | Prompt 4k, MLX |
|---|---|---|---|---|---|
| Qwen3 8B | ≈ 5 GB | 149 | 176 | 4.205 | 6.360 |
| Qwen3 30B-A3B | ≈ 18 GB | 172 | 159 | 4.535 | 9.870 |
| Llama 3.3 70B | ≈ 42 GB | 23 | 25 | 509 | 716 |
| gpt-oss-120b | ≈ 63 GB | 142 | 130 | 3.387 | 6.538 |
| Qwen3 235B-A22B | ≈ 133 GB | – | 46 | – | 1.656 |
Token al secondo con contesto vuoto: generazione di 128 token e lettura di un prompt di 4.096 token. Qwen3 235B è stato testato solo in MLX. Fonte: Vše Smart, misurato il 24 ottobre 2026.
MLX legge i prompt fino al doppio più velocemente
Prima di scrivere la prima parola, un modello deve leggere l’intero prompt, ad esempio un documento che vuoi riassumere. Secondo Vše Smart, MLX ha letto i prompt da 1,4 a 2,2 volte più velocemente di llama.cpp con tutti i modelli; il divario maggiore è stato con Qwen3 30B-A3B. Con gpt-oss-120b in MLX un documento di 4.000 token viene letto in molto meno di un secondo. Nella generazione nessuno dei due framework è stato un chiaro vincitore, quindi conviene provarli entrambi con il proprio modello.
Un contesto lungo
| Modello | Generazione | Lettura del prompt |
|---|---|---|
| Qwen3 8B | 121 | 5.240 |
| Qwen3 30B-A3B | 115 | 6.822 |
| Llama 3.3 70B | 22 | 650 |
| gpt-oss-120b | 114 | 6.332 |
| Qwen3 235B-A22B | 33 | 1.289 |
MLX, prompt di 16.384 token seguito da 128 token generati, in token al secondo. Fonte: Vše Smart.
Con un prompt di 16.384 token la generazione in MLX è rallentata di circa il 12–31 per cento, a seconda del modello.
Qwen3 235B richiede più di 128 GB
Il modello più grande ha occupato circa 133 GB di memoria e generato circa 46 token al secondo, più velocemente di quanto legga la maggior parte delle persone. Su un Mac da 128 GB non entrerebbe, ed è qui che la configurazione da 256 GB fa la differenza.
Temperature, consumi e M3 Ultra
La GPU ha raggiunto al massimo 87 °C e il chip ha assorbito fino a 215 W durante la lettura dei prompt. La ventola è salita a 2.265 giri al minuto, il 62 per cento del massimo, e in dieci minuti di carico continuo il test non ha rilevato throttling. Nel test standard di llama.cpp con Llama 2 7B (Q4_0), l’articolo stima che l’M5 Ultra legga i prompt circa 3,5 volte più velocemente e generi circa il doppio più velocemente dell’M3 Ultra. L’autore precisa che i dati dell’M3 Ultra provengono dalla tabella della community di llama.cpp, misurata con versioni più vecchie, quindi il confronto è solo indicativo.
Come nota l’articolo, il test misura la velocità e non la qualità delle risposte, usa solo la quantizzazione a 4 bit e richieste singole, e riporta l’assorbimento del chip, non dell’intero sistema.
Provalo tu stesso
Puoi noleggiare un Mac Studio M5 Ultra con 256 GB già da un giorno e testarci i tuoi modelli. Il nostro test di carico di un’ora mostra come si comporta sotto carico prolungato.