IT
16 ottobre 2026 · Jakub M.
Quindici modelli di IA sul Mac Studio M5 Ultra: quanti token al secondo ottieni davvero
Il sito tecnologico ceco Vše Smart ha fatto girare 32 modelli linguistici locali su un Mac Studio con M5 Ultra e 256 GB di memoria. Ne abbiamo scelti quindici, dal piccolo Qwen3 4B a Mistral Large con 123 miliardi di parametri, e abbiamo visto cosa significano i numeri nel lavoro quotidiano.
I confronti di velocità dei modelli locali di solito si fermano dopo due o tre nomi. Il team di Vše Smart ne ha misurati trentadue su un Mac Studio M5 Ultra con 256 GB di memoria unificata, ognuno undici volte. Dai loro risultati abbiamo preso quindici modelli che coprono bene tutto il campo: piccoli e grandi, densi e mixture of experts.
Come è stato misurato
I modelli giravano in Ollama, guidati da un semplice script Python. Ogni modello ha ricevuto lo stesso compito, un lungo testo tecnico su come si costruiscono le auto moderne, con un limite di 2.000 token in uscita, temperatura 0 e un contesto di 8.192 token. La prima esecuzione di ogni modello è stata scartata come riscaldamento, il risultato è la media delle dieci successive. Tra un modello e l’altro c’era una pausa di 30 secondi.
L’intero test è durato più di quattro ore e i modelli hanno generato oltre 700.000 token. È stata misurata solo la velocità; il test non ha valutato la qualità delle risposte.
Risultati
| Modello | Tipo | Velocità di generazione |
|---|---|---|
| Qwen3 4B | denso | |
| Qwen3 30B-A3B | MoE, 3B attivi | |
| gpt-oss-20b | MoE, 3,6B attivi | |
| Qwen3.5 35B-A3B | MoE, 3B attivi | |
| Qwen3.5 9B | denso | |
| gpt-oss-120b | MoE, 5,1B attivi | |
| Gemma 4 26B-A4B | MoE, 4B attivi | |
| Qwen3-Next 80B-A3B | MoE, 3B attivi | |
| Qwen3.5 122B-A10B | MoE, 10B attivi | |
| Llama 4 Scout | MoE, 17B attivi | |
| Mistral Small 3.2 24B | denso | |
| Qwen3.5 27B | denso | |
| Gemma 4 31B | denso | |
| Llama 3.3 70B | denso | |
| Mistral Large 123B | denso |
Media di dieci esecuzioni in Ollama, 2.000 token in uscita, contesto 8k. MoE = mixture of experts; «attivi» è il numero di parametri usati per ogni token. Dati: Vše Smart. I risultati di Ollama non sono direttamente confrontabili con le nostre misurazioni in MLX. Sono risultati misurati nelle condizioni indicate, non una garanzia: la velocità reale dipende da modello, quantizzazione, lunghezza del contesto, configurazione del software e carico di lavoro.
La dimensione dice poco sulla velocità
L’esempio più chiaro è gpt-oss-120b contro Llama 3.3 70B. Il modello di OpenAI ha più parametri (117 miliardi contro 70) eppure scrive cinque volte più velocemente: 115 token al secondo contro 23. La differenza sta nell’architettura. gpt-oss-120b è un modello mixture of experts e per ogni token usa solo circa cinque miliardi di parametri. Llama 3.3 è denso e ogni volta elabora tutti e settanta i miliardi.
Qwen mostra la stessa cosa. La versione 122B-A10B, con dieci miliardi di parametri attivi, arriva a 85 token al secondo, il denso Qwen3.5 27B, grande un quarto, a 48. Se ti interessa la velocità, i parametri attivi dicono di solito più della dimensione totale, anche se contano pure architettura, quantizzazione e software.
Quanto veloce è abbastanza veloce
Per una normale chat circa 20 token al secondo risultano di solito fluidi. Dei quindici modelli in tabella, solo Mistral Large, con 14 token al secondo, sta sotto. Resta utile per compiti in cui nessuno è seduto ad aspettare, come l’elaborazione notturna di documenti.
La velocità conta molto di più quando un assistente di programmazione scrive lunghi blocchi di codice. Lì hanno senso modelli sopra gli 80 token al secondo, ad esempio gpt-oss-120b, Qwen3-Next 80B o Qwen3.5 122B.
Corrisponde alle nostre misurazioni
Diversi degli stessi modelli li abbiamo misurati sul nostro Mac Studio, con MLX invece di Ollama e un metodo leggermente diverso. I numeri differiscono da qualche punto a qualche decina di punti percentuali, ma il quadro generale resta. gpt-oss-120b da noi ha dato 120 token al secondo (Vše Smart: 115), gpt-oss-20b 184 (169) e Qwen3.5 27B 55 (48). Gemma 4 31B da noi è stato più lento, 31 contro 40, perché abbiamo usato una versione diversa del modello. I dettagli sono nel nostro articolo sul benchmark.
Provalo tu stesso
Tutti e trentadue i modelli sono entrati con margine in 256 GB di memoria. Se stai pensando di comprare una macchina del genere o ti serve la potenza solo per qualche giorno, puoi noleggiare il nostro Mac Studio M5 Ultra con 256 GB.
Fonte dei dati: Vše Smart: Mac Studio M5 Ultra alla prova con 32 modelli di IA locali (Ludvík Eckerman, 5 ottobre 2026, in ceco).