IT
15 ottobre 2026 · Jakub M.
Mac Studio M5 Ultra con 256 GB e IA locale: abbiamo misurato sei modelli
Quanti token al secondo dà davvero un Mac Studio con M5 Ultra e 256 GB di memoria unificata? Abbiamo fatto girare sei modelli aperti molto diffusi, da 9 a 120 miliardi di parametri, con contesto vuoto e lungo, annotando anche l’uso della memoria.
I benchmark di Apple Silicon per i modelli linguistici locali di solito mostrano un numero per un modello, senza dire come è stato ottenuto. Volevamo numeri completi e ripetibili, quindi abbiamo misurato tutti i modelli allo stesso modo e descritto il metodo.
Su cosa e come abbiamo misurato
- Hardware: Mac Studio con Apple M5 Ultra, 256 GB di memoria unificata e SSD da 4 TB. È esattamente la macchina che noleggiamo.
- Software: macOS 27.0.1, Python 3.12 e mlx-lm 0.32, basato sul framework MLX di Apple.
- Modelli: conversioni MLX dell’organizzazione mlx-community su Hugging Face, quantizzate a 4 bit. I modelli gpt-oss usano MXFP4 per i pesi degli esperti (varianti «MXFP4-Q8»), Gemma 4 31B è la versione QAT a 4 bit.
- Test: 512 token di prompt seguiti da 128 token generati, con 0, 8.192 e 32.768 token già nel contesto. Le esecuzioni con contesto vuoto le abbiamo fatte due volte e mediate, i contesti più lunghi una volta. Il prompt è composto da token casuali. Con prompt reali e risposte più lunghe la velocità può differire.
- Memoria: il valore di picco riportato da MLX durante il test, inclusi pesi del modello e cache del contesto.
Risultati
| Modello | Tipo | Dimensione | Gen., vuoto | Gen., 8k | Gen., 32k | Memoria, vuoto | Memoria, 32k |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | denso | 6,0 GB | 167 | 161 | 141 | 5,5 GB | 7,4 GB |
| gpt-oss-20b | MoE | 12,1 GB | 184 | 172 | 145 | 11,7 GB | 12,8 GB |
| Qwen3.5 27B | denso | 16,1 GB | 55 | 53 | 48 | 15,3 GB | 18,8 GB |
| Gemma 4 31B | denso | 28,8 GB | 31 | 27 | 21 | 26,6 GB | 31,5 GB |
| Qwen3.5 35B-A3B | MoE | 20,4 GB | 162 | 154 | 141 | 18,8 GB | 20,6 GB |
| gpt-oss-120b | MoE | 63,4 GB | 120 | 113 | 96 | 59,5 GB | 61,0 GB |
Velocità di generazione in token al secondo. «Vuoto», «8k» e «32k» indicano quanti token sono già nel contesto. La memoria è il valore di picco riportato da MLX. Sono risultati misurati nelle condizioni indicate, non una garanzia: la velocità reale dipende da modello, quantizzazione, lunghezza del contesto, configurazione del software e carico di lavoro.
Cosa dicono i numeri
I modelli mixture of experts sono molto più veloci
Il modello più veloce del test non è il più piccolo. gpt-oss-20b genera 184 token al secondo, e anche gpt-oss-120b arriva a 120. Entrambi sono modelli mixture of experts (MoE): per ogni token usano solo una piccola parte dei parametri, secondo OpenAI circa 3,6 miliardi in gpt-oss-20b e 5,1 miliardi in gpt-oss-120b. Qwen3.5 35B-A3B funziona allo stesso modo con circa 3 miliardi di parametri attivi e raggiunge 162 token al secondo.
I modelli densi usano tutti i parametri per ogni token e sono quindi più lenti: Qwen3.5 27B genera 55 token al secondo, Gemma 4 31B 31. Anche il modello più lento del test, con 31 token al secondo, scrive più velocemente di quanto legga la maggior parte delle persone.
Un contesto lungo costa dal 12 al 32 per cento
Con 32.768 token già nel contesto, la generazione è rallentata del 12–21 per cento nella maggior parte dei modelli. Ha perso di più Gemma 4 31B, da 31 a 21 token al secondo, circa un terzo. Se lavori con documenti lunghi o grandi basi di codice, è questa la colonna da guardare.
256 GB lasciano molto spazio
Il modello più grande testato, gpt-oss-120b, con un contesto di 32k ha richiesto 61 GB, meno di un quarto della memoria. Secondo i nostri calcoli il resto basta per modelli molto più grandi, ad esempio Qwen3.5 122B-A10B (circa 70 GB a 4 bit) o perfino Qwen3.5 397B-A17B, i cui file a 4 bit occupano 224 GB. Questi non li abbiamo ancora testati, e anche contesto e sistema hanno bisogno di memoria. Si possono anche far girare più modelli fianco a fianco, ad esempio uno grande per le risposte e uno piccolo per lo smistamento rapido o gli embedding.
Cosa non abbiamo misurato
- Velocità di elaborazione del prompt. Il nostro breve test con 512 token ha dato risultati variabili, circa tra 500 e 5.000 token al secondo a seconda del modello. Basta per dire che la lettura di un prompt è molte volte più rapida della generazione, ma non per numeri precisi. Una misurazione più lunga arriverà in seguito.
- Altri runtime. Abbiamo usato solo MLX. llama.cpp, Ollama o i modelli GGUF in LM Studio possono dare risultati diversi.
- Qualità delle risposte, assorbimento e i modelli più grandi (122B e 397B). Sono i prossimi della nostra lista.
Provalo con il tuo lavoro
I numeri di un test altrui non dicono mai del tutto se una macchina va bene per il tuo lavoro. Per questo noleggiamo proprio questo Mac Studio, già da un giorno, via SSH o desktop remoto. Se stai pensando di comprarlo, puoi prima provarci i tuoi modelli e i tuoi dati.