繁
2026年10月20日 · Jakub M.
語言模型需要多少記憶體？從 7B 到 405B 的一覽表
70B 模型放得進 64 GB 嗎？235B 呢？我們計算了不同規模的語言模型需要多少記憶體、上下文會增加多少，以及哪種 Mac 適合做什麼。
模型能否放進記憶體，只是簡單的算術。把參數數量乘以每個參數的位元數，再除以八。一個 700 億參數的模型在完整的 FP16 精度（16 位元）下佔 140 GB，8 位元約為一半，4 位元約為四分之一。對本機模型而言，4 位元量化如今已是常態。
權重佔用多少
| 規模 | 模型範例 | 4 位元 | 8 位元 | FP16（未量化） |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4.5 GB | ≈ 8.5 GB | ≈ 16 GB |
| 14B | Qwen3 14B | ≈ 8 GB | ≈ 15 GB | ≈ 28 GB |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 GB | ≈ 34 GB | ≈ 64 GB |
| 70B | Llama 3.3 70B | ≈ 39 GB | ≈ 74 GB | ≈ 140 GB |
| 117B | gpt-oss-120b | ≈ 66 GB | ≈ 124 GB | ≈ 234 GB |
| 235B | Qwen3 235B-A22B | ≈ 132 GB | ≈ 250 GB | ≈ 470 GB |
| 405B | Llama 3.1 405B | ≈ 228 GB | ≈ 430 GB | ≈ 810 GB |
僅計模型權重，已四捨五入。每個數字還需加上上下文所需記憶體及 1–2 GB 的額外開銷。實際上 4 位元量化每個參數約佔 4.5 位元，因為還要儲存縮放係數。
上下文需要額外的記憶體
除了權重，模型還會把正在處理的文字保存在記憶體中，也就是所謂的 KV 快取。它會隨著上下文中的每個 token 增長。以 Llama 3.1 8B 為例，每個 token 約 128 KB，因此 32,000 個 token 的上下文約增加 4 GB，完整的 128,000 個約增加 16 GB。Llama 3.3 70B 則是每個 token 320 KB：32k 需額外 10 GB，128k 則高達 40 GB。
較新的模型更為節省。在我們的 Mac Studio 上，gpt-oss-120b 從空上下文到 32k 只增加了 1.5 GB，因為它有一半的層只關注最後 128 個 token。Gemma 4 31B 則增加了 4.9 GB。詳細數據請見我們的實測。
MoE 模型：記憶體算整體，速度看部分
gpt-oss-120b 或 Qwen3 235B-A22B 等混合專家（MoE）模型，每個 token 只使用部分參數，因此通常比總規模相同的稠密模型快得多。但整個模型都必須放在記憶體中。因此一個啟用參數為 220 億的 235B MoE 模型，佔用的空間與 235B 模型相同，速度則更接近小得多的模型。接近程度取決於架構、專家路由、量化方式、上下文長度以及您使用的軟體。
模型實際能用到多少 Mac 記憶體
Mac 沒有獨立的顯示記憶體：CPU 和 GPU 共用同一個記憶體池。不過 macOS 預設不會讓 GPU 用掉全部記憶體，而是為系統保留一部分。您可以用下列指令提高上限，效果持續到下次重新開機：
sudo sysctl iogpu.wired_limit_mb=240000數值單位為 MB。建議至少為系統保留 8–16 GB。在租用的 Mac 上，您的帳號沒有管理員權限，因此可應要求由我們為您設定此上限。
| Mac 記憶體 | 模型大約可用 | 可輕鬆容納 |
|---|---|---|
| 16 GB | 10–11 GB | 4 位元 7–8B |
| 32 GB | 21–24 GB | 4 位元 14B，較短上下文的 27–32B |
| 64 GB | 48 GB | 中等上下文的 4 位元 70B，8 位元 32B |
| 128 GB | 96 GB | 4 位元 117B MoE（gpt-oss-120b），8 位元 70B |
| 256 GB | 192 GB，提高上限後可達約 240 GB | 4 位元 235B、3 位元 405B，或同時執行多個模型 |
依 macOS 預設的 GPU 上限估算；確切數值因系統版本而異。
量化會損失多少品質
量化模型損失多少品質取決於模型和任務，因此請用您自己的工作來測試。大致而言，8 位元版本通常非常接近完整精度；4 位元版本損失稍多，是本機執行時常見的折衷選擇。低於 4 位元時，品質下降往往更明顯，小型模型尤其如此。對於 405B 這類非常大的模型，3 位元版本仍可能有意義，因為量化較粗的大模型有時會勝過精度較高的小模型。
重點整理
- 以 4 位元計算，每十億參數約需 0.56 GB，另加上下文和幾 GB 的額外開銷。
- 長上下文可能佔用數十 GB，較新的模型則少得多。
- 對 MoE 模型而言，記憶體由總規模決定。啟用部分對速度影響很大，但不是唯一因素。
如果您自己的 Mac 不夠用，我們這台 256 GB 的 Mac Studio M5 Ultra 應能容納 4 位元的 235B 模型、3 位元的 405B 模型，或同時執行多個較小的模型，前提是為上下文和系統預留空間。以上皆為估算，請在長期租用前先測試您的模型。如有需要，我們可以為您提高 GPU 記憶體上限。