JA
2026年10月20日 · Jakub M.
言語モデルに必要なメモリは？ 7Bから405Bまでの早見表
70Bモデルは64 GBに収まるのか。235Bならどうか。サイズ別に言語モデルが使うメモリ量、コンテキストで増える分、どのMacで何が動くかをまとめました。
モデルがメモリに収まるかどうかは、簡単な計算で分かります。パラメータ数に1パラメータあたりのビット数を掛け、8で割るだけです。700億パラメータのモデルなら、完全精度のFP16（16ビット）で140 GB、8ビット版でその約半分、4ビット版で約4分の1です。ローカルで動かすモデルでは、現在は4ビット量子化が標準です。
重みだけで必要なメモリ
| サイズ | モデル例 | 4ビット | 8ビット | FP16（非量子化） |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4.5 GB | ≈ 8.5 GB | ≈ 16 GB |
| 14B | Qwen3 14B | ≈ 8 GB | ≈ 15 GB | ≈ 28 GB |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 GB | ≈ 34 GB | ≈ 64 GB |
| 70B | Llama 3.3 70B | ≈ 39 GB | ≈ 74 GB | ≈ 140 GB |
| 117B | gpt-oss-120b | ≈ 66 GB | ≈ 124 GB | ≈ 234 GB |
| 235B | Qwen3 235B-A22B | ≈ 132 GB | ≈ 250 GB | ≈ 470 GB |
| 405B | Llama 3.1 405B | ≈ 228 GB | ≈ 430 GB | ≈ 810 GB |
モデルの重みのみ、概数。各値にコンテキスト分のメモリと1〜2 GBのオーバーヘッドを加えてください。4ビット量子化はスケール値も保存するため、実際には1パラメータあたり約4.5ビットになります。
コンテキストには追加のメモリが必要
モデルは重みのほかに、処理中のテキストもKVキャッシュとしてメモリに保持します。KVキャッシュはコンテキストのトークンが増えるほど大きくなります。Llama 3.1 8Bでは1トークンあたり約128 KBなので、3万2000トークンのコンテキストで約4 GB、上限の12万8000トークンでは約16 GB増えます。Llama 3.3 70Bでは1トークンあたり320 KBで、32kなら10 GB、128kなら40 GBも追加で必要です。
新しいモデルはもっと効率的です。当社のMac Studioでは、gpt-oss-120bは空のコンテキストから32kまでで1.5 GBしか増えませんでした。半数の層が直近の128トークンしか参照しないためです。Gemma 4 31Bは4.9 GB増えました。詳しい数値は当社の測定をご覧ください。
MoEモデル：メモリは全体、速度は一部で決まる
gpt-oss-120bやQwen3 235B-A22Bのようなmixture of experts（MoE）モデルは、トークンごとにパラメータの一部しか使わないため、同じ総パラメータ数のdenseモデルより一般にずっと高速です。ただし、モデル全体はメモリに載せる必要があります。アクティブパラメータが220億の235B MoEモデルは、235Bモデルと同じだけのメモリを使う一方、速度ははるかに小さなモデルに近くなります。どこまで近づくかは、アーキテクチャ、エキスパートのルーティング、量子化、コンテキスト長、実行するソフトウェアによって変わります。
モデルが実際に使えるMacのメモリ
Macには独立したグラフィックメモリがなく、CPUとGPUが1つのメモリを共有しています。ただしmacOSは既定ではGPUにすべてを使わせず、システム用に余裕を残します。上限は次のコマンドで引き上げられます（再起動するまで有効）。
sudo sysctl iogpu.wired_limit_mb=240000値の単位はメガバイトです。システム用に少なくとも8〜16 GBは残しておきましょう。レンタルしたMacのアカウントには管理者権限がないため、この上限はご依頼に応じて当社が設定します。
| Macのメモリ | モデルに使えるおおよその量 | 余裕をもって載るモデル |
|---|---|---|
| 16 GB | 10〜11 GB | 7〜8Bの4ビット版 |
| 32 GB | 21〜24 GB | 14Bの4ビット版、27〜32Bは短めのコンテキストで |
| 64 GB | 48 GB | 70Bの4ビット版（中程度のコンテキスト）、32Bの8ビット版 |
| 128 GB | 96 GB | 117B MoE（gpt-oss-120b）の4ビット版、70Bの8ビット版 |
| 256 GB | 192 GB、上限を引き上げれば約240 GB | 235Bの4ビット版、405Bの3ビット版、または複数モデルの同時実行 |
macOSのGPU向け既定上限に基づく推定値です。正確な値はシステムのバージョンによって異なります。
量子化で失われる品質
量子化でどれだけ品質が落ちるかは、モデルと用途によって異なるため、ご自身の作業で試してください。目安として、8ビット版はフル精度にかなり近く、4ビット版はもう少し劣化するものの、ローカル実行では一般的な妥協点です。4ビットを下回ると、特に小さなモデルで劣化が目立ちやすくなります。405Bのような非常に大きなモデルでは、3ビット版にも意味があります。粗く量子化した大きなモデルが、高精度の小さなモデルを上回ることがあるためです。
まとめ
- 4ビット版なら、10億パラメータあたり約0.56 GBに、コンテキスト分と数GBのオーバーヘッドを加えて見積もります。
- 長いコンテキストは数十GBを使うこともありますが、新しいモデルではずっと少なく済みます。
- MoEモデルでは、メモリは総サイズで決まります。アクティブな部分は速度に大きく影響しますが、唯一の要因ではありません。
お手持ちのMacで足りない場合、当社の256 GBのMac Studio M5 Ultraなら、コンテキストとシステム用の余裕を残したうえで、235Bモデルの4ビット版、405Bの3ビット版、あるいは複数の小さなモデルを同時に動かせる見込みです。これは推定値のため、長期のレンタルの前にご自身のモデルでお試しください。ご希望があればGPUの上限も引き上げます。