15 de octubre de 2026 · Jakub Mokříš
Mac Studio M5 Ultra con 256 GB e IA local: hemos medido seis modelos
¿Cuántos tokens por segundo da realmente un Mac Studio con M5 Ultra y 256 GB de memoria unificada? Probamos seis modelos abiertos populares de 9 a 120 mil millones de parámetros, con contexto vacío y largo, y anotamos también el uso de memoria.
Las pruebas de Apple Silicon con modelos de lenguaje locales suelen mostrar un número para un modelo sin explicar cómo se obtuvo. Queríamos cifras completas y reproducibles, así que medimos todos los modelos de la misma forma y documentamos el método.
Con qué y cómo medimos
- Hardware: Mac Studio con Apple M5 Ultra, 256 GB de memoria unificada y SSD de 4 TB. Es exactamente el equipo que alquilamos.
- Software: macOS 27.0.1, Python 3.12 y mlx-lm 0.32, basado en el framework MLX de Apple.
- Modelos: conversiones MLX de la comunidad mlx-community en Hugging Face con cuantización de 4 bits. Los modelos gpt-oss usan MXFP4 para los pesos de los expertos (variantes «MXFP4-Q8») y Gemma 4 31B es la versión QAT de 4 bits.
- Prueba: 512 tokens de prompt seguidos de 128 tokens generados, con 0, 8.192 y 32.768 tokens ya en el contexto. Con el contexto vacío medimos dos veces y promediamos; con los contextos largos, una vez. El prompt son tokens aleatorios, porque la velocidad no depende de lo que diga el texto.
- Memoria: el pico de memoria que informa MLX durante la prueba, incluidos los pesos del modelo y la caché de contexto.
Resultados
| Modelo | Tipo | Tamaño | Gen., vacío | Gen., 8k | Gen., 32k | Memoria, vacío | Memoria, 32k |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | denso | 6,0 GB | 167 | 161 | 141 | 5,5 GB | 7,4 GB |
| gpt-oss-20b | MoE | 12,1 GB | 184 | 172 | 145 | 11,7 GB | 12,8 GB |
| Qwen3.5 27B | denso | 16,1 GB | 55 | 53 | 48 | 15,3 GB | 18,8 GB |
| Gemma 4 31B | denso | 28,8 GB | 31 | 27 | 21 | 26,6 GB | 31,5 GB |
| Qwen3.5 35B-A3B | MoE | 20,4 GB | 162 | 154 | 141 | 18,8 GB | 20,6 GB |
| gpt-oss-120b | MoE | 63,4 GB | 120 | 113 | 96 | 59,5 GB | 61,0 GB |
Velocidad de generación en tokens por segundo. «Vacío», «8k» y «32k» indican cuántos tokens hay ya en el contexto. La memoria es el pico informado por MLX.
Qué dicen los números
Los modelos mixture-of-experts son mucho más rápidos
El modelo más rápido de la prueba no es el más pequeño. gpt-oss-20b genera 184 tokens por segundo e incluso gpt-oss-120b llega a 120. Ambos son modelos mixture-of-experts (MoE): para cada token usan solo una pequeña parte de sus parámetros, unos 3.600 millones en gpt-oss-20b y 5.100 millones en gpt-oss-120b según OpenAI. Qwen3.5 35B-A3B funciona igual, con unos 3.000 millones de parámetros activos, y alcanza 162 tokens por segundo.
Los modelos densos usan todos sus parámetros en cada token, por eso son más lentos: Qwen3.5 27B genera 55 tokens por segundo y Gemma 4 31B, 31. Como referencia, unos 20 tokens por segundo ya superan la velocidad de lectura de la mayoría, así que incluso el modelo más lento de la prueba resulta cómodo para chatear.
Un contexto largo cuesta entre un 12 y un 32 %
Con 32.768 tokens ya en el contexto, la generación se ralentizó entre un 12 y un 21 % en la mayoría de modelos. Gemma 4 31B fue el que más perdió, de 31 a 21 tokens por segundo, alrededor de un tercio. Si trabajas con documentos largos o bases de código grandes, fíjate sobre todo en esta columna.
256 GB dejan mucho margen
El modelo más grande que probamos, gpt-oss-120b, necesitó solo 61 GB incluido un contexto de 32k, menos de una cuarta parte de la memoria. El resto basta para modelos mucho mayores, como Qwen3.5 122B-A10B (unos 70 GB en 4 bits) o incluso Qwen3.5 397B-A17B, cuyos archivos de 4 bits ocupan 224 GB. También permite ejecutar varios modelos a la vez, por ejemplo uno grande para responder y otro pequeño para enrutar consultas o generar embeddings.
Qué no hemos medido
- Velocidad de procesamiento del prompt. Nuestra prueba corta de 512 tokens dio resultados variables, aproximadamente entre 500 y 5.000 tokens por segundo según el modelo. Basta para decir que leer el prompt es muchas veces más rápido que generar, pero no para dar cifras exactas. Añadiremos una medición más larga.
- Otros programas. Solo usamos MLX. llama.cpp, Ollama o los modelos GGUF en LM Studio pueden dar resultados distintos.
- Calidad de las respuestas, consumo eléctrico y los modelos más grandes (122B y 397B). Son los siguientes de la lista.
Pruébalo con tu propio trabajo
Las cifras de una prueba ajena nunca responden del todo si un equipo sirve para tu trabajo. Por eso alquilamos este mismo Mac Studio, desde un día, por SSH o escritorio remoto. Si estás pensando en comprar uno, antes puedes probar en él tus propios modelos y datos.