12 de novembro de 2026 · Jakub M.

Qwen3.5 397B num único Mac Studio M5 Ultra: 224 GB e 62 tokens por segundo

Um modelo com 397 mil milhões de parâmetros ocupa cerca de 224 GB em 4 bits. Corremo-lo num único Mac Studio M5 Ultra com 256 GB: gerou cerca de 62 tokens por segundo, aguentou um contexto de 128 mil tokens e não precisou de nenhuma alteração às definições do macOS.

O nosso maior teste até agora era o Qwen3 235B, com cerca de 133 GB. Desta vez fomos ao limite da memória do Mac: o Qwen3.5 397B-A17B, um modelo mixture-of-experts com 397 mil milhões de parâmetros, dos quais cerca de 17 mil milhões trabalham em cada token. No formato MLX de 4 bits ocupa cerca de 224 GB.

Como medimos

• Hardware: Mac Studio com Apple M5 Ultra (CPU de 36 núcleos, GPU de 80 núcleos) e 256 GB de memória unificada, macOS 27.2.1.
• Software: Python 3.12, MLX 0.32.4, mlx-lm 0.32.2, modelo mlx-community/Qwen3.5-397B-A17B-4bit.
• Teste: a ferramenta integrada mlx_lm.benchmark, um prompt de tokens aleatórios com semente fixa e uma execução de aquecimento antes de cada medição. Prompts de 512 e 8192 tokens com 128 tokens gerados (três e duas repetições), depois prompts mais longos até 131 072 tokens com 64 tokens gerados (uma medição cada).

Resultados

Qwen3.5 397B-A17B, MLX de 4 bits (mlx-community), mlx-lm 0.32.2, macOS 27.2.1, medido a 12 de novembro de 2026. 512 e 8192 tokens: 128 tokens gerados, média de 3 e 2 repetições; prompts mais longos: 64 tokens gerados, uma medição. O valor com o prompt de 512 tokens variou entre repetições (141 a 195 tok/s).

Sem alterar definições

Esperávamos que o modelo não coubesse com as definições predefinidas. As versões mais antigas do macOS só deixavam a GPU usar cerca de três quartos da memória, ou seja, cerca de 192 GB num Mac de 256 GB. No nosso Mac com macOS 27.2.1, porém, o Metal indica um limite recomendado de 240 GB (257,7 mil milhões de bytes), ou seja, toda a memória exceto 16 GB. O modelo correu com as definições predefinidas tão depressa como com o limite definido à mão, o swap ficou abaixo de 45 MB e o macOS indicou sempre uma pressão de memória normal. Medimos os mesmos 240 GB no nosso segundo Mac de 256 GB. Atualizámos também a nossa calculadora de RAM.

Para quem aluga isto é importante: não tem direitos de administrador, por isso não poderia aumentar o limite. Nestes Mac não precisa.

O contexto longo custa pouca memória

Entre um prompt de 512 tokens e um de 131 072 tokens, o pico de memória cresceu apenas cerca de 6 GB, de 224,3 para 230,6 GB. Mesmo com o contexto mais longo, ficaram livres mais de 25 GB para o sistema. A velocidade desce com o contexto: a geração passou de 62 para 44 tokens por segundo, ainda um ritmo confortável para ler.

Maior, mas mais rápido

No nosso teste de outubro, o Qwen3 235B gerava 46 tokens por segundo com o contexto vazio e 33 com um prompt de 16 384 tokens. O Qwen3.5 397B é quase duas vezes maior e, ainda assim, gera cerca de 62 e 58 tokens por segundo em situações comparáveis. A razão é o menor número de parâmetros ativos por token: cerca de 17 mil milhões em vez de 22. O teste de outubro usou uma versão de software mais antiga e um método um pouco diferente, por isso a comparação é apenas indicativa.

Consumo

Durante o teste, o chip (CPU e GPU) consumiu no máximo cerca de 104 W, medidos com o powermetrics em amostras de 2 segundos. Não indicamos a média, porque a medição incluiu também o carregamento do modelo e pausas.

Limites do teste

Medimos um modelo num Mac, com pedidos individuais. Um prompt de tokens aleatórios dá valores de velocidade puros; com tarefas reais a velocidade pode variar. O teste não mede a qualidade das respostas, e a versão de 4 bits pode responder um pouco pior do que o modelo completo.

Experimente

Se quer correr um modelo deste tamanho sem comprar um Mac de mais de 12 000 €, pode alugar um Mac Studio M5 Ultra com 256 GB a partir de um dia.

Pedir aluguer Desempenho

← Todos os artigos