FR
Combien de mémoire faut-il pour un modèle d’IA ?
Choisissez la mémoire de votre Mac pour voir quels modèles de langage ouverts y tourneront. Ou choisissez un modèle pour savoir combien de mémoire il demande.
Nous comptons avec une quantification 4 bits, courante pour les modèles locaux, et un contexte jusqu’à environ 32 000 tokens : paramètres × 4,5 bits ÷ 8, plus 10 % et 2 Go pour le contexte et l’exécution. Par défaut, le Mac donne au GPU environ 67 % de sa mémoire (jusqu’à 36 Go) ou 75 % (au-delà) ; la limite peut être relevée. Ce sont des estimations : la consommation réelle dépend du logiciel et de la longueur du contexte. Sur notre Mac Studio de 256 Go sous macOS 27.2.1, la limite du GPU est de 240 Go, et le calculateur utilise cette valeur pour 256 Go.
Données sur les modèles : Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.
Comment le calculateur estime la mémoire
Un modèle de langage a besoin de mémoire pour trois choses : ses poids, le contexte qu’il traite et l’exécution elle-même. Le calculateur les additionne ainsi.
Poids
Avec une quantification 4 bits, chaque paramètre occupe environ 4,5 bits en comptant les facteurs d’échelle, soit à peu près 0,56 Go par milliard de paramètres. Un modèle 70B a donc besoin d’environ 39 Go rien que pour ses poids, un modèle 120B d’environ 66 Go.
Contexte et cache KV
Pour chaque token du contexte, le modèle garde en mémoire des clés et des valeurs : c’est le cache KV. Sa taille dépend de l’architecture du modèle et augmente avec la longueur du contexte. Le calculateur ajoute 10 % et 2 Go aux poids, ce qui couvre pour la plupart des modèles un contexte d’environ 32 000 tokens. Pour un contexte bien plus long, prévoyez davantage.
Pourquoi un Mac ne donne pas toute sa mémoire au modèle
Sur Apple Silicon, le CPU et le GPU partagent une même mémoire unifiée, et macOS en garde une partie pour le système. La part que le GPU peut utiliser par défaut dépend du Mac et de la version de macOS. Sur notre Mac Studio de 256 Go sous macOS 27.2.1, Metal indique 240 Go, soit tout sauf 16 Go, et un modèle de 224 Go a fonctionné sans modifier aucun réglage. Les versions plus anciennes de macOS et les Mac plus petits accordaient généralement environ deux tiers à trois quarts ; pour eux, le calculateur garde cette règle plus prudente. La limite peut être relevée (réglage iogpu.wired_limit_mb), au détriment de la mémoire disponible pour le système et les autres apps. C’est pourquoi le calculateur affiche à part l’état « Avec limite relevée ».
4, 8 ou 16 bits
La quantification 8 bits demande environ deux fois plus de mémoire que la 4 bits, et la 16 bits (BF16) environ quatre fois plus. Le 4 bits est le compromis habituel en local : pour la plupart des modèles, la perte de qualité est faible ; en dessous de 4 bits, elle augmente plus vite. Plus de détails dans notre article sur la mémoire nécessaire à un modèle de langage.
Estimation et mesure
| Modèle | Estimation du calculateur | Pic mesuré | Plus petit Mac où il tient |
|---|---|---|---|
| Qwen3 30B-A3B | 20,9 GB | 18,7 GB | 32 GB |
| Llama 3.3 70B | 45,7 GB | 43,3 GB | 64 GB |
| gpt-oss-120b | 74,4 GB | 64,5 GB | 128 GB |
Mesuré avec mlx-lm 0.32.2 et un prompt de 8 192 tokens sur un Mac Studio M5 Ultra, le 11 novembre 2026. gpt-oss-120b utilise le format MXFP4, un peu plus compact que les 4,5 bits retenus par le calculateur.
Les estimations sont volontairement prudentes : lors de notre mesure, les trois modèles ont eu besoin d’un peu moins. Si vous n’avez besoin d’un gros Mac que pour un temps, comparez la location et l’achat d’un Mac Studio M5 Ultra. Pour Qwen3.5 397B, le calculateur utilise notre pic mesuré avec un contexte de 32k (227,5 Go) au lieu de l’estimation, voir notre test de ce modèle.