FR
20 octobre 2026 · Jakub M.
Combien de mémoire faut-il à un modèle de langage ? Tableau de 7B à 405B
Un modèle 70B tient-il dans 64 Go ? Et un 235B ? Nous avons calculé la mémoire qu’occupent les modèles de langage selon leur taille, ce qu’ajoute le contexte et quel Mac suffit pour quoi.
Savoir si un modèle tient en mémoire est un simple calcul. On multiplie le nombre de paramètres par le nombre de bits par paramètre, puis on divise par huit. Un modèle de 70 milliards de paramètres en pleine précision FP16 (16 bits) occupe ainsi 140 Go, environ la moitié en 8 bits et environ un quart en 4 bits. Pour les modèles en local, la quantification 4 bits est aujourd’hui la norme.
Ce qu’occupent les poids
| Taille | Exemples de modèles | 4 bits | 8 bits | FP16 (non quantifié) |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4,5 Go | ≈ 8,5 Go | ≈ 16 Go |
| 14B | Qwen3 14B | ≈ 8 Go | ≈ 15 Go | ≈ 28 Go |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 Go | ≈ 34 Go | ≈ 64 Go |
| 70B | Llama 3.3 70B | ≈ 39 Go | ≈ 74 Go | ≈ 140 Go |
| 117B | gpt-oss-120b | ≈ 66 Go | ≈ 124 Go | ≈ 234 Go |
| 235B | Qwen3 235B-A22B | ≈ 132 Go | ≈ 250 Go | ≈ 470 Go |
| 405B | Llama 3.1 405B | ≈ 228 Go | ≈ 430 Go | ≈ 810 Go |
Poids du modèle uniquement, arrondis. Ajoutez à chaque valeur la mémoire du contexte et 1 à 2 Go de surcoût. En pratique, la quantification 4 bits occupe environ 4,5 bits par paramètre, car les facteurs d’échelle sont aussi stockés.
Le contexte coûte de la mémoire en plus
En plus des poids, le modèle garde en mémoire le texte en cours de traitement, le KV cache. Il grandit à chaque token de contexte. Pour Llama 3.1 8B, c’est environ 128 Ko par token : un contexte de 32 000 tokens ajoute donc environ 4 Go, et les 128 000 complets environ 16 Go. Pour Llama 3.3 70B, c’est 320 Ko par token : 32k représentent 10 Go de plus, 128k pas moins de 40 Go.
Les modèles plus récents sont plus économes. Sur notre Mac Studio, gpt-oss-120b n’a pris que 1,5 Go entre un contexte vide et 32k, car la moitié de ses couches ne regardent que les 128 derniers tokens. Gemma 4 31B a pris 4,9 Go. Les chiffres détaillés sont dans notre mesure.
Modèles MoE : la mémoire pour le tout, la vitesse pour une partie
Les modèles mixture of experts (MoE), comme gpt-oss-120b ou Qwen3 235B-A22B, n’utilisent qu’une partie de leurs paramètres pour chaque token, ce qui les rend en général bien plus rapides qu’un modèle dense de même taille totale. Mais le modèle doit être entièrement en mémoire. Un modèle MoE de 235B avec 22 milliards de paramètres actifs occupe donc autant de place qu’un modèle de 235B, alors que sa vitesse se rapproche de celle d’un modèle bien plus petit. À quel point dépend de l’architecture, du routage des experts, de la quantification, de la longueur du contexte et du logiciel utilisé.
La mémoire du Mac dont le modèle dispose vraiment
Le Mac n’a pas de mémoire graphique séparée : le processeur et le GPU partagent la même. Par défaut, macOS ne laisse pourtant pas le GPU tout prendre et garde une réserve pour le système. On peut relever la limite avec une commande valable jusqu’au prochain redémarrage :
sudo sysctl iogpu.wired_limit_mb=240000La valeur est en mégaoctets. Mieux vaut laisser au système au moins 8 à 16 Go. Sur un Mac loué, votre compte n’a pas de droits d’administrateur : nous réglons donc cette limite pour vous sur demande.
| Mémoire du Mac | Disponible pour le modèle, env. | Ce qui tient confortablement |
|---|---|---|
| 16 Go | 10–11 Go | 7–8B en 4 bits |
| 32 Go | 21–24 Go | 14B en 4 bits, 27–32B avec un contexte plus court |
| 64 Go | 48 Go | 70B en 4 bits avec un contexte moyen, 32B en 8 bits |
| 128 Go | 96 Go | 117B MoE (gpt-oss-120b) en 4 bits, 70B en 8 bits |
| 256 Go | 192 Go, jusqu’à ~240 Go en relevant la limite | 235B en 4 bits, 405B en 3 bits, ou plusieurs modèles à la fois |
Estimation d’après la limite par défaut de macOS pour le GPU ; la valeur exacte varie selon la version du système.
Ce que la quantification coûte en qualité
La qualité perdue par un modèle quantifié dépend du modèle et de la tâche : testez-le sur votre propre travail. À titre indicatif, les versions 8 bits sont en général très proches de la pleine précision, et les versions 4 bits perdent un peu plus et constituent le compromis courant en local. En dessous de 4 bits, la baisse est généralement plus visible, surtout pour les petits modèles. Pour de très grands modèles comme 405B, une version 3 bits peut encore avoir du sens, car un grand modèle plus fortement quantifié bat parfois un modèle plus petit en précision plus élevée.
En bref
- En 4 bits, comptez environ 0,56 Go par milliard de paramètres, plus le contexte et quelques Go de surcoût.
- Un long contexte peut occuper des dizaines de Go, bien moins avec les modèles récents.
- Pour les modèles MoE, la taille totale décide de la mémoire. La partie active pèse beaucoup sur la vitesse, mais ce n’est pas le seul facteur.
Si votre Mac ne suffit pas, notre Mac Studio M5 Ultra 256 Go devrait accueillir un modèle 235B en 4 bits, un 405B en 3 bits ou plusieurs modèles plus petits à la fois, à condition de laisser de la place au contexte et au système. Ce sont des estimations : testez votre modèle avant une location plus longue. Sur demande, nous relevons pour vous la limite du GPU.