PT
20 de outubro de 2026 · Jakub M.
Quanta memória precisa um modelo de linguagem: tabela de 7B a 405B
Um modelo de 70B cabe em 64 GB? E um de 235B? Calculámos quanta memória ocupam os modelos de linguagem de vários tamanhos, quanto acrescenta o contexto e que Mac chega para quê.
Saber se um modelo cabe na memória é uma conta simples. Multiplica-se o número de parâmetros pelos bits por parâmetro e divide-se por oito. Um modelo com 70 mil milhões de parâmetros em precisão total FP16 (16 bits) ocupa assim 140 GB, cerca de metade em 8 bits e cerca de um quarto em 4 bits. Nos modelos locais, a quantização de 4 bits é hoje o habitual.
Quanto ocupam os pesos
| Tamanho | Modelos de exemplo | 4 bits | 8 bits | FP16 (sem quantização) |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4,5 GB | ≈ 8,5 GB | ≈ 16 GB |
| 14B | Qwen3 14B | ≈ 8 GB | ≈ 15 GB | ≈ 28 GB |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 GB | ≈ 34 GB | ≈ 64 GB |
| 70B | Llama 3.3 70B | ≈ 39 GB | ≈ 74 GB | ≈ 140 GB |
| 117B | gpt-oss-120b | ≈ 66 GB | ≈ 124 GB | ≈ 234 GB |
| 235B | Qwen3 235B-A22B | ≈ 132 GB | ≈ 250 GB | ≈ 470 GB |
| 405B | Llama 3.1 405B | ≈ 228 GB | ≈ 430 GB | ≈ 810 GB |
Apenas os pesos do modelo, arredondados. Some a cada valor a memória do contexto e 1–2 GB de sobrecarga. Na prática, a quantização de 4 bits ocupa cerca de 4,5 bits por parâmetro, porque as escalas também são guardadas.
O contexto custa memória extra
Além dos pesos, o modelo guarda na memória o texto com que está a trabalhar, a chamada KV cache. Ela cresce a cada token de contexto. No Llama 3.1 8B são cerca de 128 KB por token, por isso um contexto de 32 mil tokens acrescenta cerca de 4 GB e os 128 mil completos cerca de 16 GB. No Llama 3.3 70B são 320 KB por token: 32k significam mais 10 GB, 128k uns bons 40 GB.
Os modelos mais recentes são mais poupados. No nosso Mac Studio medimos que o gpt-oss-120b cresce apenas 1,5 GB entre um contexto vazio e 32k, porque metade das suas camadas só olha para os últimos 128 tokens. O Gemma 4 31B cresce 4,9 GB. Os números detalhados estão na nossa medição.
Modelos MoE: memória pelo todo, velocidade por uma parte
Os modelos mixture of experts (MoE), como o gpt-oss-120b ou o Qwen3 235B-A22B, usam apenas parte dos parâmetros em cada token, por isso costumam ser muito mais rápidos do que um modelo denso com o mesmo tamanho total. Mas o modelo inteiro tem de estar na memória. Um modelo MoE de 235B com 22 mil milhões de parâmetros ativos ocupa, portanto, tanto espaço como um de 235B, enquanto a sua velocidade fica mais próxima da de um modelo muito menor. Quão próxima depende da arquitetura, do encaminhamento dos especialistas, da quantização, do comprimento do contexto e do software em que o corre.
Quanta memória do Mac o modelo recebe de facto
O Mac não tem memória gráfica separada: o processador e a GPU partilham a mesma. Ainda assim, por predefinição o macOS não deixa a GPU ocupá-la toda e reserva uma parte para o sistema. O limite pode ser aumentado com um comando que vale até ao próximo reinício:
sudo sysctl iogpu.wired_limit_mb=240000O valor é em megabytes. Convém deixar ao sistema pelo menos 8–16 GB. Num Mac alugado a sua conta não tem direitos de administrador, por isso definimos este limite por si a pedido.
| Memória do Mac | Disponível para o modelo, aprox. | O que cabe com folga |
|---|---|---|
| 16 GB | 10–11 GB | 7–8B em 4 bits |
| 32 GB | 21–24 GB | 14B em 4 bits, 27–32B com um contexto mais curto |
| 64 GB | 48 GB | 70B em 4 bits com um contexto médio, 32B em 8 bits |
| 128 GB | 96 GB | 117B MoE (gpt-oss-120b) em 4 bits, 70B em 8 bits |
| 256 GB | 192 GB, até ~240 GB aumentando o limite | 235B em 4 bits, 405B em 3 bits ou vários modelos ao mesmo tempo |
Estimativa com base no limite predefinido do macOS para a GPU; o valor exato varia com a versão do sistema.
Quanta qualidade custa a quantização
A qualidade que um modelo quantizado perde depende do modelo e da tarefa, por isso teste-o no seu próprio trabalho. Como referência, as versões de 8 bits costumam ficar muito próximas da precisão total, e as de 4 bits perdem um pouco mais e são o compromisso habitual para uso local. Abaixo de 4 bits a perda costuma notar-se mais, sobretudo nos modelos pequenos. Em modelos muito grandes, como o 405B, uma versão de 3 bits ainda pode fazer sentido, porque um modelo maior com quantização mais grosseira às vezes supera um menor com mais precisão.
Em resumo
- Em 4 bits, conte com cerca de 0,56 GB por cada mil milhões de parâmetros, mais o contexto e alguns GB de sobrecarga.
- Um contexto longo pode ocupar dezenas de GB, muito menos nos modelos mais recentes.
- Nos modelos MoE, o tamanho total decide a memória. A parte ativa influencia muito a velocidade, mas não é o único fator.
Se o seu Mac não chega, no nosso Mac Studio M5 Ultra com 256 GB deve caber um modelo de 235B em 4 bits, um de 405B em 3 bits ou vários modelos mais pequenos ao mesmo tempo, desde que deixe espaço para o contexto e o sistema. São estimativas, por isso teste o seu modelo antes de um aluguer mais longo. A pedido, aumentamos o limite da GPU.