¿Cuánta memoria necesita un modelo de IA?

Elige cuánta memoria tiene tu Mac y verás qué modelos de lenguaje abiertos funcionarán en él. O elige un modelo y descubre cuánta memoria necesita.

¿Cuánta memoria tiene tu Mac?

64 GB
0

    Calculamos con cuantización de 4 bits, habitual en modelos locales, y un contexto de hasta unos 32.000 tokens: parámetros × 4,5 bits ÷ 8, más un 10 % y 2 GB para el contexto y la ejecución. Por defecto, el Mac da a la GPU cerca del 67 % de la memoria (hasta 36 GB) o el 75 % (más de 36 GB); el límite se puede ampliar. Son estimaciones: el uso real depende del software y de la longitud del contexto. En nuestro Mac Studio con 256 GB y macOS 27.2.1 el límite de la GPU es de 240 GB, y la calculadora usa ese valor para 256 GB.

    Datos de los modelos: Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.

    Cómo calcula la memoria la calculadora

    Un modelo de lenguaje necesita memoria para tres cosas: sus pesos, el contexto con el que trabaja y la ejecución en sí. La calculadora los suma así.

    Pesos

    Con cuantización de 4 bits, cada parámetro ocupa unos 4,5 bits contando los factores de escala, es decir, unos 0,56 GB por cada mil millones de parámetros. Un modelo 70B necesita unos 39 GB solo para los pesos, y uno 120B, unos 66 GB.

    Contexto y caché KV

    Por cada token del contexto, el modelo guarda en memoria claves y valores: la llamada caché KV. Cuánto ocupa depende de la arquitectura del modelo y crece con la longitud del contexto. La calculadora suma a los pesos un 10 % y 2 GB, lo que en la mayoría de modelos cubre un contexto de hasta unos 32.000 tokens. Para contextos mucho más largos, cuenta con más.

    Por qué un Mac no da toda su memoria al modelo

    En Apple Silicon, la CPU y la GPU comparten una única memoria unificada, y macOS reserva una parte para el sistema. Cuánta puede usar la GPU por defecto depende del Mac y de la versión de macOS. En nuestro Mac Studio con 256 GB y macOS 27.2.1, Metal indica 240 GB, es decir, todo salvo 16 GB, y un modelo de 224 GB funcionó sin cambiar ningún ajuste. Las versiones anteriores de macOS y los Mac más pequeños solían permitir entre dos tercios y tres cuartas partes, y para ellos la calculadora mantiene esa regla más prudente. El límite se puede subir (ajuste iogpu.wired_limit_mb) a costa de memoria para el sistema y otras apps. Por eso la calculadora muestra aparte el estado «Con el límite ampliado».

    4, 8 o 16 bits

    La cuantización de 8 bits necesita aproximadamente el doble de memoria que la de 4 bits, y la de 16 bits (BF16), unas cuatro veces más. 4 bits es el compromiso habitual para uso local: en la mayoría de modelos la pérdida de calidad es pequeña, y por debajo de 4 bits crece más rápido. Más en nuestro artículo sobre cuánta memoria necesita un modelo de lenguaje.

    Estimación frente a medición

    ModeloEstimación de la calculadoraPico medidoMac más pequeño en el que cabe
    Qwen3 30B-A3B20,9 GB18,7 GB32 GB
    Llama 3.3 70B45,7 GB43,3 GB64 GB
    gpt-oss-120b74,4 GB64,5 GB128 GB

    Medido con mlx-lm 0.32.2 y un prompt de 8.192 tokens en un Mac Studio M5 Ultra, el 11 de noviembre de 2026. gpt-oss-120b usa el formato MXFP4, algo más pequeño que los 4,5 bits que supone la calculadora.

    Las estimaciones son deliberadamente prudentes: en nuestra medición los tres modelos necesitaron algo menos. Si solo necesitas un Mac grande durante un tiempo, compara alquilar y comprar un Mac Studio M5 Ultra. Para Qwen3.5 397B, la calculadora usa en lugar de la estimación nuestro pico medido con un contexto de 32k (227,5 GB); consulta nuestra prueba de este modelo.