ZH
2026年10月20日 · Jakub M.
语言模型需要多少内存：从 7B 到 405B 的对照表
70B 模型能装进 64 GB 吗？235B 呢？我们算了算不同规模的语言模型占用多少内存、上下文会额外占多少，以及哪台 Mac 适合跑什么。
模型能否装进内存，用一个简单公式就能算出来：参数量乘以每个参数的位数，再除以 8。一个 700 亿参数的模型，在 FP16 全精度（16 位）下占 140 GB，8 位版本约为一半，4 位版本约为四分之一。如今在本地运行模型，4 位量化已是标准做法。
权重本身占多少
| 规模 | 示例模型 | 4 位 | 8 位 | FP16（未量化） |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4.5 GB | ≈ 8.5 GB | ≈ 16 GB |
| 14B | Qwen3 14B | ≈ 8 GB | ≈ 15 GB | ≈ 28 GB |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 GB | ≈ 34 GB | ≈ 64 GB |
| 70B | Llama 3.3 70B | ≈ 39 GB | ≈ 74 GB | ≈ 140 GB |
| 117B | gpt-oss-120b | ≈ 66 GB | ≈ 124 GB | ≈ 234 GB |
| 235B | Qwen3 235B-A22B | ≈ 132 GB | ≈ 250 GB | ≈ 470 GB |
| 405B | Llama 3.1 405B | ≈ 228 GB | ≈ 430 GB | ≈ 810 GB |
仅为模型权重，已取整。每个数值还需加上上下文所占内存和 1–2 GB 的额外开销。4 位量化还要存储缩放系数，实际约为每个参数 4.5 位。
上下文会额外占用内存
除了权重，模型还要把正在处理的文本保存在内存里，也就是 KV cache。它随上下文中的每个 token 增长。Llama 3.1 8B 每个 token 约 128 KB，因此 3.2 万 token 的上下文约增加 4 GB，完整的 12.8 万 token 约增加 16 GB。Llama 3.3 70B 每个 token 为 320 KB：32k 需要额外 10 GB，128k 则需要整整 40 GB。
较新的模型要节省得多。我们在自己的 Mac Studio 上测得，gpt-oss-120b 从空上下文到 32k 只多占 1.5 GB，因为它有一半的层只关注最近的 128 个 token。Gemma 4 31B 多占 4.9 GB。详细数据见我们的实测。
MoE 模型：内存看整体，速度看局部
gpt-oss-120b、Qwen3 235B-A22B 这类混合专家（MoE）模型，每个 token 只用到一部分参数，因此通常比总规模相同的稠密模型快得多。但整个模型都必须放在内存里。一个激活参数为 220 亿的 235B MoE 模型，占用的内存与 235B 模型相同，速度却更接近小得多的模型。接近到什么程度，取决于架构、专家路由、量化、上下文长度以及运行它的软件。
模型实际能用到多少 Mac 内存
Mac 没有独立显存，CPU 和 GPU 共用同一块内存。不过 macOS 默认不会让 GPU 占满全部内存，而是给系统留出余量。可以用下面的命令提高上限（重启后失效）：
sudo sysctl iogpu.wired_limit_mb=240000数值单位是 MB。建议至少给系统留 8–16 GB。在租用的 Mac 上，你的账户没有管理员权限，因此可应要求由我们为你设置这一上限。
| Mac 内存 | 模型大约可用 | 能宽裕装下的模型 |
|---|---|---|
| 16 GB | 10–11 GB | 4 位的 7–8B |
| 32 GB | 21–24 GB | 4 位的 14B；27–32B 需缩短上下文 |
| 64 GB | 48 GB | 4 位的 70B（中等上下文），8 位的 32B |
| 128 GB | 96 GB | 4 位的 117B MoE（gpt-oss-120b），8 位的 70B |
| 256 GB | 192 GB，提高上限后约 240 GB | 4 位的 235B、3 位的 405B，或同时运行多个模型 |
根据 macOS 默认的 GPU 内存上限估算，具体数值因系统版本而异。
量化会损失多少质量
量化模型损失多少质量，取决于具体模型和任务，因此请用你自己的工作来测试。大致来说，8 位版本通常非常接近全精度，4 位版本损失稍多，是本地运行的常见折中。低于 4 位时，质量下降通常更明显，尤其是较小的模型。对于 405B 这样的超大模型，3 位版本仍可能值得一试，因为量化更粗的大模型有时能胜过精度更高的小模型。
小结
- 4 位版本大约按每 10 亿参数 0.56 GB 估算，再加上上下文和几 GB 的额外开销。
- 长上下文可能占用几十 GB，较新的模型则少得多。
- 对于 MoE 模型，内存取决于总规模。激活部分对速度影响很大，但并非唯一因素。
如果你自己的 Mac 不够用，我们这台 256 GB 的 Mac Studio M5 Ultra 应能装下 4 位的 235B 模型、3 位的 405B 模型，或同时运行多个较小的模型，前提是为上下文和系统留出空间。以上均为估算，请在长期租用前先测试你的模型。如有需要，我们可以为你提高 GPU 内存上限。