ES
20 de octubre de 2026 · Jakub M.
Cuánta memoria necesita un modelo de lenguaje: tabla de 7B a 405B
¿Cabe un modelo de 70B en 64 GB? ¿Y uno de 235B? Hemos calculado cuánta memoria ocupan los modelos de lenguaje de distintos tamaños, cuánto añade el contexto y qué Mac basta para qué.
Saber si un modelo cabe en memoria es una cuenta sencilla. Multiplicas el número de parámetros por los bits por parámetro y lo divides entre ocho. Un modelo de 70.000 millones de parámetros en precisión completa FP16 (16 bits) ocupa 140 GB, más o menos la mitad en 8 bits y más o menos una cuarta parte en 4 bits. En los modelos locales, la cuantización de 4 bits es hoy lo habitual.
Cuánto ocupan los pesos
| Tamaño | Modelos de ejemplo | 4 bits | 8 bits | FP16 (sin cuantizar) |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4,5 GB | ≈ 8,5 GB | ≈ 16 GB |
| 14B | Qwen3 14B | ≈ 8 GB | ≈ 15 GB | ≈ 28 GB |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 GB | ≈ 34 GB | ≈ 64 GB |
| 70B | Llama 3.3 70B | ≈ 39 GB | ≈ 74 GB | ≈ 140 GB |
| 117B | gpt-oss-120b | ≈ 66 GB | ≈ 124 GB | ≈ 234 GB |
| 235B | Qwen3 235B-A22B | ≈ 132 GB | ≈ 250 GB | ≈ 470 GB |
| 405B | Llama 3.1 405B | ≈ 228 GB | ≈ 430 GB | ≈ 810 GB |
Solo los pesos del modelo, redondeados. Suma a cada cifra la memoria del contexto y 1–2 GB de sobrecarga. En la práctica, la cuantización de 4 bits ocupa unos 4,5 bits por parámetro, porque también se guardan las escalas.
El contexto cuesta memoria extra
Además de los pesos, el modelo guarda en memoria el texto con el que trabaja, la llamada KV cache. Crece con cada token de contexto. En Llama 3.1 8B son unos 128 KB por token, así que un contexto de 32.000 tokens añade unos 4 GB y los 128.000 completos unos 16 GB. En Llama 3.3 70B son 320 KB por token: 32k supone 10 GB más y 128k, nada menos que 40 GB.
Los modelos más nuevos son más ahorradores. En nuestro Mac Studio medimos que gpt-oss-120b solo crece 1,5 GB entre un contexto vacío y 32k, porque la mitad de sus capas solo miran los últimos 128 tokens. Gemma 4 31B crece 4,9 GB. Las cifras detalladas están en nuestra medición.
Modelos MoE: memoria por el total, velocidad por una parte
Los modelos mixture of experts (MoE), como gpt-oss-120b o Qwen3 235B-A22B, solo usan una parte de sus parámetros en cada token, por lo que suelen ser mucho más rápidos que un modelo denso del mismo tamaño total. Pero el modelo entero tiene que estar en memoria. Un modelo MoE de 235B con 22.000 millones de parámetros activos ocupa, por tanto, lo mismo que uno de 235B, mientras que su velocidad se acerca más a la de un modelo mucho más pequeño. Cuánto se acerca depende de la arquitectura, el enrutamiento de expertos, la cuantización, la longitud del contexto y el software con el que lo ejecutes.
Cuánta memoria del Mac recibe de verdad el modelo
El Mac no tiene memoria gráfica aparte: la CPU y la GPU comparten la misma. Aun así, macOS no deja por defecto que la GPU la ocupe toda y reserva una parte para el sistema. El límite se puede subir con un comando que dura hasta el siguiente reinicio:
sudo sysctl iogpu.wired_limit_mb=240000El valor va en megabytes. Conviene dejarle al sistema al menos 8–16 GB. En un Mac alquilado tu cuenta no tiene derechos de administrador, así que ajustamos este límite por ti si lo pides.
| Memoria del Mac | Disponible para el modelo, aprox. | Qué cabe con holgura |
|---|---|---|
| 16 GB | 10–11 GB | 7–8B en 4 bits |
| 32 GB | 21–24 GB | 14B en 4 bits, 27–32B con un contexto más corto |
| 64 GB | 48 GB | 70B en 4 bits con un contexto medio, 32B en 8 bits |
| 128 GB | 96 GB | 117B MoE (gpt-oss-120b) en 4 bits, 70B en 8 bits |
| 256 GB | 192 GB, hasta ~240 GB subiendo el límite | 235B en 4 bits, 405B en 3 bits o varios modelos a la vez |
Estimación según el límite predeterminado de macOS para la GPU; el valor exacto depende de la versión del sistema.
Cuánta calidad cuesta la cuantización
Cuánta calidad pierde un modelo cuantizado depende del modelo y de la tarea, así que pruébalo con tu propio trabajo. Como orientación, las versiones de 8 bits suelen estar muy cerca de la precisión completa, y las de 4 bits pierden algo más y son el compromiso habitual para usar en local. Por debajo de 4 bits la pérdida suele notarse más, sobre todo en modelos pequeños. Con modelos muy grandes, como 405B, una versión de 3 bits puede tener sentido, porque un modelo mayor con una cuantización más gruesa a veces supera a uno más pequeño con más precisión.
En resumen
- En 4 bits, calcula unos 0,56 GB por cada mil millones de parámetros, más el contexto y unos pocos GB de sobrecarga.
- Un contexto largo puede ocupar decenas de GB, mucho menos en los modelos nuevos.
- En los modelos MoE, el tamaño total decide la memoria. La parte activa influye mucho en la velocidad, pero no es el único factor.
Si tu Mac no da para más, en nuestro Mac Studio M5 Ultra con 256 GB debería caber un modelo de 235B en 4 bits, uno de 405B en 3 bits o varios modelos más pequeños a la vez, siempre que dejes espacio para el contexto y el sistema. Son estimaciones, así que prueba tu modelo antes de un alquiler más largo. Si lo necesitas, te subimos el límite de la GPU.