FR
12 novembre 2026 · Jakub M.
Qwen3.5 397B sur un seul Mac Studio M5 Ultra : 224 Go et 62 tokens par seconde
Un modèle de 397 milliards de paramètres occupe environ 224 Go en 4 bits. Nous l’avons lancé sur un seul Mac Studio M5 Ultra de 256 Go : il a généré environ 62 tokens par seconde, géré un contexte de 128 000 tokens et n’a demandé aucun changement des réglages de macOS.
Notre plus gros test jusqu’ici était Qwen3 235B, d’environ 133 Go. Cette fois, nous sommes allés à la limite de la mémoire du Mac : Qwen3.5 397B-A17B, un modèle mixture-of-experts de 397 milliards de paramètres, dont environ 17 milliards travaillent pour chaque token. Au format MLX 4 bits, il occupe environ 224 Go.
Comment nous avons mesuré
- Matériel : Mac Studio avec Apple M5 Ultra (CPU 36 cœurs, GPU 80 cœurs) et 256 Go de mémoire unifiée, macOS 27.2.1.
- Logiciels : Python 3.12, MLX 0.32.4, mlx-lm 0.32.2, modèle
mlx-community/Qwen3.5-397B-A17B-4bit. - Test : l’outil intégré
mlx_lm.benchmark, un prompt de tokens aléatoires avec une graine fixe et un essai de mise en température avant chaque mesure. Prompts de 512 et 8 192 tokens avec 128 tokens générés (trois et deux essais), puis prompts plus longs jusqu’à 131 072 tokens avec 64 tokens générés (une mesure chacun).
Résultats
| Prompt (tokens) | Traitement du prompt (tok/s) | Génération (tok/s) | Pic de mémoire |
|---|---|---|---|
| 512 | 159 | 61,6 | 224,3 GB |
| 8 192 | 1 265 | 59,9 | 226,8 GB |
| 16 384 | 1 432 | 58,3 | 227,0 GB |
| 32 768 | 1 500 | 55,1 | 227,5 GB |
| 65 536 | 1 345 | 50,3 | 228,5 GB |
| 131 072 | 1 080 | 44,1 | 230,6 GB |
Qwen3.5 397B-A17B, MLX 4 bits (mlx-community), mlx-lm 0.32.2, macOS 27.2.1, mesuré le 12 novembre 2026. 512 et 8 192 tokens : 128 tokens générés, moyenne de 3 et 2 essais ; prompts plus longs : 64 tokens générés, une mesure. La valeur pour le prompt de 512 tokens a varié d’un essai à l’autre (141 à 195 tok/s).
Aucun réglage à modifier
Nous pensions que le modèle ne tiendrait pas avec les réglages par défaut. Les versions plus anciennes de macOS ne laissaient au GPU qu’environ trois quarts de la mémoire, soit environ 192 Go sur un Mac de 256 Go. Sur notre Mac sous macOS 27.2.1, Metal indique pourtant une limite recommandée de 240 Go (257,7 milliards d’octets), soit toute la mémoire sauf 16 Go. Le modèle a tourné avec les réglages par défaut aussi vite qu’avec la limite fixée à la main, le swap est resté sous 45 Mo et macOS a signalé une pression mémoire normale tout au long du test. Nous avons mesuré la même valeur de 240 Go sur notre deuxième Mac de 256 Go. Nous avons mis à jour notre calculateur de RAM en conséquence.
C’est important pour les locataires : ils n’ont pas de droits d’administrateur et ne pourraient donc pas relever la limite eux-mêmes. Sur ces Mac, ils n’en ont pas besoin.
Un long contexte coûte peu de mémoire
Entre un prompt de 512 tokens et un prompt de 131 072 tokens, le pic de mémoire n’a augmenté que d’environ 6 Go, de 224,3 à 230,6 Go. Même avec le contexte le plus long, plus de 25 Go restaient libres pour le système. La vitesse baisse en revanche avec le contexte : la génération est passée de 62 à 44 tokens par seconde, ce qui reste un rythme de lecture confortable.
Plus gros, et pourtant plus rapide
Lors de notre test d’octobre, Qwen3 235B générait 46 tokens par seconde avec un contexte vide et 33 avec un prompt de 16 384 tokens. Qwen3.5 397B est presque deux fois plus gros et génère pourtant environ 62 et 58 tokens par seconde dans des situations comparables. La raison : moins de paramètres actifs par token, environ 17 milliards au lieu de 22. Le test d’octobre utilisait une version logicielle plus ancienne et une méthode un peu différente ; la comparaison est donc indicative.
Consommation
Pendant le test, la puce (CPU et GPU) a consommé au maximum environ 104 W, mesurés avec powermetrics par échantillons de 2 secondes. Nous ne donnons pas de moyenne, car la mesure incluait aussi le chargement du modèle et des pauses.
Limites du test
Nous avons mesuré un modèle sur un Mac, avec des requêtes isolées. Un prompt de tokens aléatoires donne des chiffres de vitesse bruts ; avec de vraies tâches, la vitesse peut différer. Le test ne mesure pas la qualité des réponses, et la version 4 bits peut répondre un peu moins bien que le modèle complet.
Essayez vous-même
Si vous voulez faire tourner un modèle de cette taille sans acheter un Mac à plus de 12 000 €, vous pouvez louer un Mac Studio M5 Ultra avec 256 Go dès une journée.