IT
20 ottobre 2026 · Jakub M.
Quanta memoria serve a un modello linguistico? Una tabella da 7B a 405B
Un modello da 70B entra in 64 GB? E uno da 235B? Abbiamo calcolato quanta memoria occupano modelli linguistici di dimensioni diverse, quanto aggiunge il contesto e quale Mac basta per cosa.
Capire se un modello entra in memoria è un semplice calcolo. Moltiplica il numero di parametri per i bit per parametro e dividi per otto. Un modello da 70 miliardi di parametri occupa 140 GB in piena precisione FP16 (16 bit), circa la metà a 8 bit e circa un quarto a 4 bit. Per i modelli locali la quantizzazione a 4 bit è oggi la norma.
Quanto occupano i pesi
| Dimensione | Modelli di esempio | 4 bit | 8 bit | FP16 (non quantizzato) |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4,5 GB | ≈ 8,5 GB | ≈ 16 GB |
| 14B | Qwen3 14B | ≈ 8 GB | ≈ 15 GB | ≈ 28 GB |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 GB | ≈ 34 GB | ≈ 64 GB |
| 70B | Llama 3.3 70B | ≈ 39 GB | ≈ 74 GB | ≈ 140 GB |
| 117B | gpt-oss-120b | ≈ 66 GB | ≈ 124 GB | ≈ 234 GB |
| 235B | Qwen3 235B-A22B | ≈ 132 GB | ≈ 250 GB | ≈ 470 GB |
| 405B | Llama 3.1 405B | ≈ 228 GB | ≈ 430 GB | ≈ 810 GB |
Solo i pesi del modello, arrotondati. A ogni valore si aggiungono la memoria per il contesto e 1–2 GB di overhead. In pratica una quantizzazione a 4 bit richiede circa 4,5 bit per parametro, perché vanno memorizzati anche i fattori di scala.
Il contesto costa memoria in più
Oltre ai pesi, il modello tiene in memoria il testo su cui sta lavorando, la cosiddetta cache KV. Cresce con ogni token di contesto. Per Llama 3.1 8B sono circa 128 KB per token, quindi un contesto di 32.000 token costa circa 4 GB in più e i 128.000 completi circa 16 GB. Per Llama 3.3 70B sono 320 KB per token: 32k significano 10 GB in più, 128k ben 40 GB.
I modelli più recenti sono più parsimoniosi. Sul nostro Mac Studio gpt-oss-120b è cresciuto di soli 1,5 GB tra contesto vuoto e 32k, perché metà dei suoi livelli guarda solo gli ultimi 128 token. Gemma 4 31B è cresciuto di 4,9 GB. I numeri esatti sono nella nostra misurazione.
Modelli MoE: memoria per l’intero, velocità per una parte
I modelli mixture of experts (MoE) come gpt-oss-120b o Qwen3 235B-A22B usano per ogni token solo una parte dei parametri, il che di solito li rende molto più veloci di un modello denso della stessa dimensione totale. In memoria però deve stare l’intero modello. Un modello MoE da 235B con 22 miliardi di parametri attivi occupa quindi lo spazio di un modello da 235B, mentre la sua velocità si avvicina a quella di un modello molto più piccolo. Quanto si avvicini dipende da architettura, instradamento degli esperti, quantizzazione, lunghezza del contesto e software usato.
Quanta memoria del Mac riceve davvero il modello
Un Mac non ha una memoria grafica separata: CPU e GPU condividono un’unica memoria. Per impostazione predefinita, però, macOS non lascia alla GPU tutto e tiene una riserva per il sistema. Il limite si può alzare con un comando valido fino al riavvio successivo:
sudo sysctl iogpu.wired_limit_mb=240000Il valore è in megabyte. È consigliabile lasciare al sistema almeno 8–16 GB. Su un Mac noleggiato il tuo account non ha diritti di amministratore; questo limite lo impostiamo quindi noi su richiesta.
| Memoria del Mac | Circa disponibile per il modello | Cosa ci sta comodamente |
|---|---|---|
| 16 GB | 10–11 GB | 7–8B a 4 bit |
| 32 GB | 21–24 GB | 14B a 4 bit, 27–32B con contesto più corto |
| 64 GB | 48 GB | 70B a 4 bit con contesto medio, 32B a 8 bit |
| 128 GB | 96 GB | 117B MoE (gpt-oss-120b) a 4 bit, 70B a 8 bit |
| 256 GB | 192 GB, fino a ~240 GB alzando il limite | 235B a 4 bit, 405B a 3 bit o più modelli contemporaneamente |
Stima basata sul limite predefinito di macOS per la GPU; il valore esatto dipende dalla versione del sistema.
Quanta qualità costa la quantizzazione
Quanta qualità perde un modello quantizzato dipende dal modello e dal compito, quindi provalo sul tuo lavoro. Come orientamento: le versioni a 8 bit sono di solito molto vicine alla piena precisione, quelle a 4 bit perdono un po’ di più e sono il compromesso abituale per l’uso locale. Sotto i 4 bit il calo è di solito più evidente, soprattutto nei modelli più piccoli. Con modelli molto grandi come 405B una versione a 3 bit può comunque avere senso, perché un modello più grande con quantizzazione più grossolana a volte batte uno più piccolo con precisione maggiore.
In breve
- A 4 bit conta circa 0,56 GB per miliardo di parametri, più il contesto e qualche GB di overhead.
- Un contesto lungo può occupare decine di GB, nei modelli più recenti molto meno.
- Nei modelli MoE è la dimensione totale a determinare la memoria necessaria. La parte attiva influisce molto sulla velocità, ma non è l’unico fattore.
Se il tuo Mac non basta, il nostro Mac Studio M5 Ultra con 256 GB dovrebbe contenere un modello da 235B a 4 bit, uno da 405B a 3 bit o più modelli più piccoli insieme, purché lasci spazio a contesto e sistema. Sono stime, quindi prova il tuo modello prima di un noleggio più lungo. Su richiesta alziamo noi il limite della GPU.