15 octobre 2026 · Jakub Mokříš
Mac Studio M5 Ultra avec 256 Go et IA locale : nous avons mesuré six modèles
Combien de tokens par seconde un Mac Studio avec M5 Ultra et 256 Go de mémoire unifiée délivre-t-il vraiment ? Nous avons testé six modèles ouverts populaires de 9 à 120 milliards de paramètres, avec un contexte vide et un contexte long, en relevant aussi la mémoire utilisée.
Les tests d’Apple Silicon avec des modèles de langage locaux affichent généralement un chiffre pour un modèle, sans dire comment il a été obtenu. Nous voulions des chiffres complets et reproductibles : nous avons donc mesuré tous les modèles de la même manière et documenté la méthode.
Sur quoi et comment nous avons mesuré
- Matériel : Mac Studio avec Apple M5 Ultra, 256 Go de mémoire unifiée et SSD de 4 To. C’est exactement la machine que nous louons.
- Logiciels : macOS 27.0.1, Python 3.12 et mlx-lm 0.32, basé sur le framework MLX d’Apple.
- Modèles : conversions MLX de la communauté mlx-community sur Hugging Face, en quantification 4 bits. Les modèles gpt-oss utilisent MXFP4 pour les poids des experts (variantes « MXFP4-Q8 »), Gemma 4 31B est la version QAT 4 bits.
- Test : 512 tokens de prompt suivis de 128 tokens générés, avec 0, 8 192 et 32 768 tokens déjà dans le contexte. Avec un contexte vide, nous avons mesuré deux fois et fait la moyenne ; avec les contextes longs, une fois. Le prompt est composé de tokens aléatoires, car la vitesse ne dépend pas du contenu du texte.
- Mémoire : le pic de mémoire signalé par MLX pendant le test, poids du modèle et cache de contexte compris.
Résultats
| Modèle | Type | Taille | Gén., vide | Gén., 8k | Gén., 32k | Mémoire, vide | Mémoire, 32k |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | dense | 6,0 Go | 167 | 161 | 141 | 5,5 Go | 7,4 Go |
| gpt-oss-20b | MoE | 12,1 Go | 184 | 172 | 145 | 11,7 Go | 12,8 Go |
| Qwen3.5 27B | dense | 16,1 Go | 55 | 53 | 48 | 15,3 Go | 18,8 Go |
| Gemma 4 31B | dense | 28,8 Go | 31 | 27 | 21 | 26,6 Go | 31,5 Go |
| Qwen3.5 35B-A3B | MoE | 20,4 Go | 162 | 154 | 141 | 18,8 Go | 20,6 Go |
| gpt-oss-120b | MoE | 63,4 Go | 120 | 113 | 96 | 59,5 Go | 61,0 Go |
Vitesse de génération en tokens par seconde. « Vide », « 8k » et « 32k » indiquent le nombre de tokens déjà présents dans le contexte. La mémoire est le pic signalé par MLX.
Ce que disent les chiffres
Les modèles mixture-of-experts sont bien plus rapides
Le modèle le plus rapide du test n’est pas le plus petit. gpt-oss-20b génère 184 tokens par seconde et même gpt-oss-120b atteint 120. Ce sont deux modèles mixture-of-experts (MoE) : pour chaque token, ils n’utilisent qu’une petite partie de leurs paramètres, environ 3,6 milliards pour gpt-oss-20b et 5,1 milliards pour gpt-oss-120b selon OpenAI. Qwen3.5 35B-A3B fonctionne de la même façon avec environ 3 milliards de paramètres actifs et atteint 162 tokens par seconde.
Les modèles denses utilisent tous leurs paramètres pour chaque token et sont donc plus lents : Qwen3.5 27B génère 55 tokens par seconde et Gemma 4 31B, 31. À titre de comparaison, environ 20 tokens par seconde dépassent déjà la vitesse de lecture de la plupart des gens : même le modèle le plus lent du test reste confortable pour discuter.
Un long contexte coûte de 12 à 32 %
Avec 32 768 tokens dans le contexte, la génération a ralenti de 12 à 21 % pour la plupart des modèles. Gemma 4 31B a le plus perdu, de 31 à 21 tokens par seconde, soit environ un tiers. Si vous travaillez sur de longs documents ou de grandes bases de code, c’est cette colonne qui compte.
256 Go laissent beaucoup de marge
Le plus grand modèle testé, gpt-oss-120b, n’a eu besoin que de 61 Go avec un contexte de 32k, soit moins d’un quart de la mémoire. Le reste suffit pour des modèles bien plus grands, par exemple Qwen3.5 122B-A10B (environ 70 Go en 4 bits), voire Qwen3.5 397B-A17B, dont les fichiers 4 bits occupent 224 Go. On peut aussi faire tourner plusieurs modèles côte à côte, par exemple un grand pour répondre et un petit pour le routage rapide des requêtes ou les embeddings.
Ce que nous n’avons pas mesuré
- La vitesse de traitement du prompt. Notre court test de 512 tokens a donné des résultats fluctuants, entre environ 500 et 5 000 tokens par seconde selon le modèle. Cela suffit pour dire que la lecture du prompt est bien plus rapide que la génération, mais pas pour donner des chiffres précis. Nous ajouterons une mesure plus longue.
- D’autres logiciels. Nous n’avons utilisé que MLX. llama.cpp, Ollama ou les modèles GGUF dans LM Studio peuvent donner d’autres résultats.
- La qualité des réponses, la consommation électrique et les plus grands modèles (122B et 397B). Ce sont nos prochaines étapes.
Essayez sur votre propre travail
Les chiffres d’un test réalisé par d’autres ne disent jamais complètement si une machine convient à votre travail. C’est pourquoi nous louons ce Mac Studio précis, dès un jour, par SSH ou bureau à distance. Si vous envisagez d’en acheter un, vous pouvez d’abord y faire tourner vos propres modèles et données.