12 de noviembre de 2026 · Jakub M.

Qwen3.5 397B en un solo Mac Studio M5 Ultra: 224 GB y 62 tokens por segundo

Un modelo de 397 000 millones de parámetros ocupa unos 224 GB en 4 bits. Lo ejecutamos en un solo Mac Studio M5 Ultra con 256 GB: generó unos 62 tokens por segundo, manejó un contexto de 128 000 tokens y no necesitó ningún cambio en los ajustes de macOS.

Nuestra prueba más grande hasta ahora era Qwen3 235B, de unos 133 GB. Esta vez fuimos al límite de la memoria del Mac: Qwen3.5 397B-A17B, un modelo mixture-of-experts con 397 000 millones de parámetros, de los que unos 17 000 millones trabajan en cada token. En formato MLX de 4 bits ocupa unos 224 GB.

Cómo medimos

• Hardware: Mac Studio con Apple M5 Ultra (CPU de 36 núcleos, GPU de 80 núcleos) y 256 GB de memoria unificada, macOS 27.2.1.
• Software: Python 3.12, MLX 0.32.4, mlx-lm 0.32.2, modelo mlx-community/Qwen3.5-397B-A17B-4bit.
• Prueba: la herramienta integrada mlx_lm.benchmark, un prompt de tokens aleatorios con semilla fija y una ejecución de calentamiento antes de cada medición. Prompts de 512 y 8.192 tokens con 128 tokens generados (tres y dos repeticiones), y después prompts más largos hasta 131.072 tokens con 64 tokens generados (una medición cada uno).

Resultados

Qwen3.5 397B-A17B, MLX de 4 bits (mlx-community), mlx-lm 0.32.2, macOS 27.2.1, medido el 12 de noviembre de 2026. 512 y 8.192 tokens: 128 tokens generados, media de 3 y 2 repeticiones; prompts más largos: 64 tokens generados, una medición. El valor con el prompt de 512 tokens varió entre repeticiones (de 141 a 195 tok/s).

Sin cambiar ajustes

Esperábamos que el modelo no cupiera con los ajustes por defecto. Las versiones anteriores de macOS solo dejaban a la GPU unas tres cuartas partes de la memoria, que en un Mac de 256 GB serían unos 192 GB. Sin embargo, en nuestro Mac con macOS 27.2.1, Metal indica un límite recomendado de 240 GB (257.700 millones de bytes), es decir, toda la memoria salvo 16 GB. El modelo funcionó con los ajustes por defecto igual de rápido que con el límite fijado a mano, el swap se mantuvo por debajo de 45 MB y macOS indicó en todo momento una presión de memoria normal. Medimos los mismos 240 GB en nuestro segundo Mac de 256 GB. Hemos actualizado también nuestra calculadora de RAM.

Para quien alquila esto es importante: no tiene derechos de administrador, así que no podría subir el límite por su cuenta. En estos Mac no le hace falta.

El contexto largo cuesta poca memoria

Entre un prompt de 512 tokens y uno de 131.072 tokens, el pico de memoria creció solo unos 6 GB, de 224,3 a 230,6 GB. Incluso con el contexto más largo quedaron libres más de 25 GB para el sistema. La velocidad sí baja con el contexto: la generación pasó de 62 a 44 tokens por segundo, todavía un ritmo cómodo para leer.

Más grande, pero más rápido

En nuestra prueba de octubre, Qwen3 235B generaba 46 tokens por segundo con el contexto vacío y 33 con un prompt de 16.384 tokens. Qwen3.5 397B es casi el doble de grande y aun así genera unos 62 y 58 tokens por segundo en situaciones comparables. La razón es el menor número de parámetros activos por token: unos 17 000 millones en lugar de 22 000 millones. La prueba de octubre usó una versión de software anterior y un método algo distinto, así que la comparación es orientativa.

Consumo

Durante la prueba, el chip (CPU y GPU) consumió como máximo unos 104 W, medidos con powermetrics en muestras de 2 segundos. No damos una media porque la medición incluyó también la carga del modelo y pausas.

Límites de la prueba

Medimos un modelo en un Mac, con peticiones individuales. Un prompt de tokens aleatorios da cifras de velocidad puras; con tareas reales la velocidad puede variar. La prueba no mide la calidad de las respuestas, y la versión de 4 bits puede responder algo peor que el modelo completo.

Pruébalo tú mismo

Si quieres ejecutar un modelo de este tamaño sin comprar un Mac de más de 12.000 €, puedes alquilar un Mac Studio M5 Ultra con 256 GB desde un día.

Solicitar alquiler Rendimiento

← Todos los artículos