IT
Quanta memoria serve a un modello di IA?
Scegli quanta memoria ha il tuo Mac e vedrai quali modelli linguistici aperti ci girano. Oppure scegli un modello e scopri quanta memoria gli serve.
Calcoliamo con quantizzazione a 4 bit, comune per i modelli locali, e un contesto fino a circa 32.000 token: parametri × 4,5 bit ÷ 8, più il 10 % e 2 GB per contesto ed esecuzione. Di default il Mac dà alla GPU circa il 67 % della memoria (fino a 36 GB) o il 75 % (oltre 36 GB); il limite si può aumentare. Sono stime: il consumo reale dipende dal software e dalla lunghezza del contesto. Sul nostro Mac Studio da 256 GB con macOS 27.2.1 il limite della GPU è di 240 GB, e il calcolatore usa questo valore per 256 GB.
Dati sui modelli: Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.
Come il calcolatore stima la memoria
Un modello linguistico ha bisogno di memoria per tre cose: i suoi pesi, il contesto su cui lavora e l’esecuzione stessa. Il calcolatore le somma così.
Pesi
Con la quantizzazione a 4 bit ogni parametro occupa circa 4,5 bit compresi i fattori di scala, cioè circa 0,56 GB per miliardo di parametri. Un modello 70B richiede quindi circa 39 GB solo per i pesi, un modello 120B circa 66 GB.
Contesto e cache KV
Per ogni token del contesto il modello tiene in memoria chiavi e valori: la cosiddetta cache KV. Quanto occupa dipende dall’architettura del modello e cresce con la lunghezza del contesto. Il calcolatore aggiunge ai pesi il 10% e 2 GB, che per la maggior parte dei modelli coprono un contesto fino a circa 32.000 token. Per contesti molto più lunghi, prevedi di più.
Perché un Mac non dà al modello tutta la memoria
Su Apple Silicon CPU e GPU condividono un’unica memoria unificata e macOS ne tiene una parte per il sistema. Quanto può usarne la GPU di default dipende dal Mac e dalla versione di macOS. Sul nostro Mac Studio da 256 GB con macOS 27.2.1, Metal indica 240 GB, cioè tutto tranne 16 GB, e un modello da 224 GB ha funzionato senza cambiare alcuna impostazione. Le versioni precedenti di macOS e i Mac più piccoli concedevano di solito circa da due terzi a tre quarti, e per questi il calcolatore mantiene questa regola più prudente. Il limite si può alzare (impostazione iogpu.wired_limit_mb), a scapito della memoria per il sistema e le altre app. Per questo il calcolatore mostra a parte lo stato «Con limite aumentato».
4, 8 o 16 bit
La quantizzazione a 8 bit richiede circa il doppio della memoria di quella a 4 bit, quella a 16 bit (BF16) circa il quadruplo. I 4 bit sono il compromesso abituale per l’uso locale: nella maggior parte dei modelli la perdita di qualità è piccola, sotto i 4 bit cresce più in fretta. Approfondisci nel nostro articolo su quanta memoria serve a un modello linguistico.
Stima e misurazione
| Modello | Stima del calcolatore | Picco misurato | Mac più piccolo in cui ci sta |
|---|---|---|---|
| Qwen3 30B-A3B | 20,9 GB | 18,7 GB | 32 GB |
| Llama 3.3 70B | 45,7 GB | 43,3 GB | 64 GB |
| gpt-oss-120b | 74,4 GB | 64,5 GB | 128 GB |
Misurato con mlx-lm 0.32.2 e un prompt di 8.192 token su un Mac Studio M5 Ultra, l’11 novembre 2026. gpt-oss-120b usa il formato MXFP4, un po’ più compatto dei 4,5 bit previsti dal calcolatore.
Le stime sono volutamente prudenti: nella nostra misurazione tutti e tre i modelli hanno richiesto un po’ meno. Se ti serve un Mac grande solo per un periodo, confronta noleggio e acquisto di un Mac Studio M5 Ultra. Per Qwen3.5 397B il calcolatore usa, al posto della stima, il nostro picco misurato con un contesto di 32k (227,5 GB); vedi il nostro test di questo modello.