IT
12 novembre 2026 · Jakub M.
Qwen3.5 397B su un solo Mac Studio M5 Ultra: 224 GB e 62 token al secondo
Un modello da 397 miliardi di parametri occupa circa 224 GB a 4 bit. L’abbiamo fatto girare su un solo Mac Studio M5 Ultra con 256 GB: ha generato circa 62 token al secondo, ha gestito un contesto di 128.000 token e non ha richiesto alcuna modifica alle impostazioni di macOS.
Il nostro test più grande finora era Qwen3 235B, da circa 133 GB. Questa volta siamo arrivati al limite della memoria del Mac: Qwen3.5 397B-A17B, un modello mixture-of-experts da 397 miliardi di parametri, di cui circa 17 miliardi lavorano per ogni token. Nel formato MLX a 4 bit occupa circa 224 GB.
Come abbiamo misurato
- Hardware: Mac Studio con Apple M5 Ultra (CPU a 36 core, GPU a 80 core) e 256 GB di memoria unificata, macOS 27.2.1.
- Software: Python 3.12, MLX 0.32.4, mlx-lm 0.32.2, modello
mlx-community/Qwen3.5-397B-A17B-4bit. - Test: lo strumento integrato
mlx_lm.benchmark, un prompt di token casuali con seme fisso e un’esecuzione di riscaldamento prima di ogni misurazione. Prompt da 512 e 8.192 token con 128 token generati (tre e due ripetizioni), poi prompt più lunghi fino a 131.072 token con 64 token generati (una misurazione ciascuno).
Risultati
| Prompt (token) | Elaborazione del prompt (tok/s) | Generazione (tok/s) | Picco di memoria |
|---|---|---|---|
| 512 | 159 | 61,6 | 224,3 GB |
| 8.192 | 1.265 | 59,9 | 226,8 GB |
| 16.384 | 1.432 | 58,3 | 227,0 GB |
| 32.768 | 1.500 | 55,1 | 227,5 GB |
| 65.536 | 1.345 | 50,3 | 228,5 GB |
| 131.072 | 1.080 | 44,1 | 230,6 GB |
Qwen3.5 397B-A17B, MLX a 4 bit (mlx-community), mlx-lm 0.32.2, macOS 27.2.1, misurato il 12 novembre 2026. 512 e 8.192 token: 128 token generati, media di 3 e 2 ripetizioni; prompt più lunghi: 64 token generati, una misurazione. Il valore con il prompt da 512 token è variato tra le ripetizioni (da 141 a 195 tok/s).
Nessuna impostazione da cambiare
Ci aspettavamo che il modello non ci stesse con le impostazioni predefinite. Le versioni precedenti di macOS lasciavano alla GPU solo circa tre quarti della memoria, cioè circa 192 GB su un Mac da 256 GB. Sul nostro Mac con macOS 27.2.1, invece, Metal indica un limite consigliato di 240 GB (257,7 miliardi di byte), cioè tutta la memoria tranne 16 GB. Il modello ha girato con le impostazioni predefinite alla stessa velocità che con il limite impostato a mano, lo swap è rimasto sotto i 45 MB e macOS ha segnalato per tutto il tempo una pressione della memoria normale. Abbiamo misurato gli stessi 240 GB anche sul nostro secondo Mac da 256 GB. Di conseguenza abbiamo aggiornato anche il nostro calcolatore di RAM.
Per chi noleggia è importante: non ha diritti di amministratore, quindi non potrebbe alzare il limite da solo. Su questi Mac non serve.
Il contesto lungo costa poca memoria
Tra un prompt da 512 token e uno da 131.072 token, il picco di memoria è cresciuto solo di circa 6 GB, da 224,3 a 230,6 GB. Anche con il contesto più lungo sono rimasti liberi oltre 25 GB per il sistema. La velocità invece cala con il contesto: la generazione è scesa da 62 a 44 token al secondo, un ritmo ancora comodo per leggere.
Più grande, eppure più veloce
Nel nostro test di ottobre, Qwen3 235B generava 46 token al secondo con il contesto vuoto e 33 con un prompt da 16.384 token. Qwen3.5 397B è grande quasi il doppio, eppure in situazioni simili genera circa 62 e 58 token al secondo. Il motivo è il minor numero di parametri attivi per token: circa 17 miliardi invece di 22. Il test di ottobre usava una versione del software più vecchia e un metodo un po’ diverso, quindi il confronto è solo indicativo.
Consumo
Durante il test il chip (CPU e GPU) ha assorbito al massimo circa 104 W, misurati con powermetrics a intervalli di 2 secondi. Non indichiamo una media, perché la misurazione comprendeva anche il caricamento del modello e le pause.
Limiti del test
Abbiamo misurato un modello su un Mac, con richieste singole. Un prompt di token casuali fornisce valori di velocità puri; con attività reali la velocità può cambiare. Il test non misura la qualità delle risposte, e la versione a 4 bit può rispondere un po’ peggio del modello completo.
Provalo tu
Se vuoi far girare un modello di queste dimensioni senza comprare un Mac da oltre 12.000 €, puoi noleggiare un Mac Studio M5 Ultra con 256 GB anche per un solo giorno.