15 de outubro de 2026 · Jakub Mokříš
Mac Studio M5 Ultra com 256 GB e IA local: medimos seis modelos
Quantos tokens por segundo dá realmente um Mac Studio com M5 Ultra e 256 GB de memória unificada? Testámos seis modelos abertos populares, de 9 a 120 mil milhões de parâmetros, com contexto vazio e longo, e registámos também o uso de memória.
Os testes de Apple Silicon com modelos de linguagem locais costumam mostrar um número para um modelo sem explicar como foi obtido. Queríamos números completos e reprodutíveis, por isso medimos todos os modelos da mesma forma e documentámos o método.
Em que e como medimos
- Hardware: Mac Studio com Apple M5 Ultra, 256 GB de memória unificada e SSD de 4 TB. É exatamente a máquina que alugamos.
- Software: macOS 27.0.1, Python 3.12 e mlx-lm 0.32, baseado no framework MLX da Apple.
- Modelos: conversões MLX da comunidade mlx-community no Hugging Face, com quantização de 4 bits. Os modelos gpt-oss usam MXFP4 nos pesos dos especialistas (variantes «MXFP4-Q8») e o Gemma 4 31B é a versão QAT de 4 bits.
- Teste: 512 tokens de prompt seguidos de 128 tokens gerados, com 0, 8192 e 32 768 tokens já no contexto. Com o contexto vazio medimos duas vezes e fizemos a média; com contextos longos, uma vez. O prompt é composto por tokens aleatórios, porque a velocidade não depende do conteúdo do texto.
- Memória: o pico de memória indicado pelo MLX durante o teste, incluindo os pesos do modelo e a cache de contexto.
Resultados
| Modelo | Tipo | Tamanho | Ger., vazio | Ger., 8k | Ger., 32k | Memória, vazio | Memória, 32k |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | denso | 6,0 GB | 167 | 161 | 141 | 5,5 GB | 7,4 GB |
| gpt-oss-20b | MoE | 12,1 GB | 184 | 172 | 145 | 11,7 GB | 12,8 GB |
| Qwen3.5 27B | denso | 16,1 GB | 55 | 53 | 48 | 15,3 GB | 18,8 GB |
| Gemma 4 31B | denso | 28,8 GB | 31 | 27 | 21 | 26,6 GB | 31,5 GB |
| Qwen3.5 35B-A3B | MoE | 20,4 GB | 162 | 154 | 141 | 18,8 GB | 20,6 GB |
| gpt-oss-120b | MoE | 63,4 GB | 120 | 113 | 96 | 59,5 GB | 61,0 GB |
Velocidade de geração em tokens por segundo. «Vazio», «8k» e «32k» indicam quantos tokens já estão no contexto. A memória é o pico indicado pelo MLX.
O que dizem os números
Os modelos mixture-of-experts são muito mais rápidos
O modelo mais rápido do teste não é o mais pequeno. O gpt-oss-20b gera 184 tokens por segundo e até o gpt-oss-120b chega aos 120. Ambos são modelos mixture-of-experts (MoE): para cada token usam apenas uma pequena parte dos parâmetros, cerca de 3,6 mil milhões no gpt-oss-20b e 5,1 mil milhões no gpt-oss-120b, segundo a OpenAI. O Qwen3.5 35B-A3B funciona da mesma forma, com cerca de 3 mil milhões de parâmetros ativos, e atinge 162 tokens por segundo.
Os modelos densos usam todos os parâmetros em cada token e por isso são mais lentos: o Qwen3.5 27B gera 55 tokens por segundo e o Gemma 4 31B, 31. Como referência, cerca de 20 tokens por segundo já é mais rápido do que a maioria das pessoas lê, pelo que até o modelo mais lento do teste é confortável para conversar.
Um contexto longo custa entre 12 e 32 %
Com 32 768 tokens no contexto, a geração abrandou entre 12 e 21 % na maioria dos modelos. O Gemma 4 31B foi o que mais perdeu, de 31 para 21 tokens por segundo, cerca de um terço. Se trabalha com documentos longos ou grandes bases de código, é nesta coluna que deve olhar.
256 GB deixam muito espaço
O maior modelo testado, o gpt-oss-120b, precisou de apenas 61 GB incluindo um contexto de 32k, menos de um quarto da memória. O resto chega para modelos muito maiores, como o Qwen3.5 122B-A10B (cerca de 70 GB em 4 bits) ou mesmo o Qwen3.5 397B-A17B, cujos ficheiros de 4 bits ocupam 224 GB. Também permite correr vários modelos lado a lado, por exemplo um grande para responder e um pequeno para encaminhar pedidos ou gerar embeddings.
O que não medimos
- Velocidade de processamento do prompt. O nosso teste curto de 512 tokens deu resultados variáveis, entre cerca de 500 e 5000 tokens por segundo consoante o modelo. Chega para dizer que ler o prompt é muitas vezes mais rápido do que gerar, mas não para números exatos. Vamos acrescentar uma medição mais longa.
- Outros programas. Usámos apenas o MLX. O llama.cpp, o Ollama ou os modelos GGUF no LM Studio podem dar resultados diferentes.
- Qualidade das respostas, consumo de energia e os maiores modelos (122B e 397B). São os próximos passos.
Experimente no seu próprio trabalho
Os números de um teste alheio nunca respondem totalmente se uma máquina serve para o seu trabalho. Por isso alugamos precisamente este Mac Studio, a partir de um dia, por SSH ou ambiente de trabalho remoto. Se está a pensar comprar um, pode primeiro correr nele os seus próprios modelos e dados.