繁
AI 模型需要多少記憶體？
選擇你的 Mac 有多少記憶體，就能看到可以執行哪些開放語言模型。也可以選擇模型，查看它需要多少記憶體。
依本機模型常用的 4 位元量化、約 3.2 萬 token 以內的上下文計算：參數 × 4.5 位元 ÷ 8，再加 10 % 和 2 GB 給上下文與執行。Mac 預設把約 67 % 的記憶體（36 GB 以下）或 75 %（36 GB 以上）分給 GPU，此上限可以提高。以上皆為估算，實際用量取決於軟體與上下文長度。在我們 256 GB、macOS 27.2.1 的 Mac Studio 上，GPU 上限為 240 GB，計算器對 256 GB 採用此值。
模型資料： Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.
計算器如何估算記憶體
語言模型需要記憶體來存放三樣東西：模型權重、正在處理的上下文，以及執行本身。計算器按以下方式相加。
權重
採用 4 位元量化時，每個參數連同縮放係數約占 4.5 位元，也就是每 10 億參數約 0.56 GB。因此 70B 模型光是權重就需要約 39 GB，120B 模型約 66 GB。
上下文與 KV 快取
對於上下文中的每個 token，模型都會在記憶體中保存鍵和值，即 KV 快取。它占用多少取決於模型架構，並隨上下文長度增加。計算器在權重之外再加 10% 和 2 GB，對大多數模型而言足以涵蓋約 3.2 萬 token 的上下文。如果上下文更長，請預留更多記憶體。
為什麼 Mac 不能把全部記憶體交給模型
在 Apple Silicon 上，CPU 和 GPU 共用同一塊統一記憶體，macOS 會為系統保留一部分。GPU 預設可以使用多少，取決於 Mac 機型和 macOS 版本。在我們 256 GB、執行 macOS 27.2.1 的 Mac Studio 上，Metal 回報的值為 240 GB，也就是除 16 GB 外的全部記憶體，一個 224 GB 的模型無需更改任何設定即可執行。較舊的 macOS 版本和較小的 Mac 通常只允許約三分之二到四分之三，計算器對這些情況仍沿用這條較保守的規則。這個上限可以透過 iogpu.wired_limit_mb 提高，但系統和其他 App 可用的記憶體會相應減少。所以計算器會另外顯示「提高上限後可執行」。
4 位元、8 位元還是 16 位元
8 位元量化所需記憶體約為 4 位元的兩倍，16 位元（BF16）約為四倍。本機執行通常選擇 4 位元作為折衷：大多數模型的品質損失很小，低於 4 位元時損失會更快增加。詳見我們關於語言模型需要多少記憶體的文章。
估算與實測對比
| 模型 | 計算器估算 | 實測峰值 | 能放下的最小 Mac |
|---|---|---|---|
| Qwen3 30B-A3B | 20.9 GB | 18.7 GB | 32 GB |
| Llama 3.3 70B | 45.7 GB | 43.3 GB | 64 GB |
| gpt-oss-120b | 74.4 GB | 64.5 GB | 128 GB |
2026 年 11 月 11 日在 Mac Studio M5 Ultra 上以 mlx-lm 0.32.2 和 8,192 token 提示詞測得。gpt-oss-120b 使用 MXFP4 格式，比計算器假設的 4.5 位元略小。
估算刻意保留餘裕：在我們的測量中，三個模型實際所需都略少一些。如果只是暫時需要一台大記憶體 Mac，可以比較一下租用與購買 Mac Studio M5 Ultra。對於 Qwen3.5 397B，計算器使用我們在 32k 上下文下實測的峰值（227.5 GB）而非估算值，詳見我們對該模型的測試。