ZH
AI 模型需要多少内存？
选择你的 Mac 有多少内存，即可看到能运行哪些开放语言模型。也可以选择模型，查看它需要多少内存。
按本地模型常用的 4 位量化、约 3.2 万 token 以内的上下文计算：参数 × 4.5 位 ÷ 8，再加 10 % 和 2 GB 用于上下文和运行。Mac 默认把约 67 % 的内存（36 GB 及以下）或 75 %（36 GB 以上）分给 GPU，这个上限可以提高。以上均为估算，实际占用取决于软件和上下文长度。在我们 256 GB、macOS 27.2.1 的 Mac Studio 上，GPU 上限为 240 GB，计算器对 256 GB 采用此值。
模型数据： Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.
计算器如何估算内存
语言模型需要内存来存放三样东西：模型权重、正在处理的上下文，以及运行本身。计算器按如下方式相加。
权重
采用 4 位量化时，每个参数连同缩放系数约占 4.5 位，也就是每 10 亿参数约 0.56 GB。因此 70B 模型仅权重就需要约 39 GB，120B 模型约 66 GB。
上下文与 KV 缓存
对于上下文中的每个 token，模型都会在内存中保存键和值，即 KV 缓存。它占用多少取决于模型架构，并随上下文长度增加。计算器在权重之外再加 10% 和 2 GB，对大多数模型而言足以覆盖约 3.2 万 token 的上下文。如果上下文更长，请预留更多内存。
为什么 Mac 不能把全部内存交给模型
在 Apple Silicon 上，CPU 和 GPU 共享同一块统一内存，macOS 会为系统保留一部分。GPU 默认可以使用多少，取决于 Mac 机型和 macOS 版本。在我们 256 GB、运行 macOS 27.2.1 的 Mac Studio 上，Metal 报告的值为 240 GB，也就是除 16 GB 外的全部内存，一个 224 GB 的模型无需更改任何设置即可运行。较旧的 macOS 版本和较小的 Mac 通常只允许约三分之二到四分之三，计算器对这些情况仍沿用这条更保守的规则。这一上限可以通过 iogpu.wired_limit_mb 提高，但系统和其他应用可用的内存会相应减少。所以计算器会单独显示“提高上限后可运行”。
4 位、8 位还是 16 位
8 位量化所需内存约为 4 位的两倍，16 位（BF16）约为四倍。本地运行通常选择 4 位作为折中：大多数模型的质量损失很小，低于 4 位时损失会更快增加。详见我们关于语言模型需要多少内存的文章。
估算与实测对比
| 模型 | 计算器估算 | 实测峰值 | 能放下的最小 Mac |
|---|---|---|---|
| Qwen3 30B-A3B | 20.9 GB | 18.7 GB | 32 GB |
| Llama 3.3 70B | 45.7 GB | 43.3 GB | 64 GB |
| gpt-oss-120b | 74.4 GB | 64.5 GB | 128 GB |
2026 年 11 月 11 日在 Mac Studio M5 Ultra 上用 mlx-lm 0.32.2 和 8,192 token 提示词测得。gpt-oss-120b 使用 MXFP4 格式，比计算器假设的 4.5 位略小。
估算刻意留有余量：在我们的测量中，三个模型实际所需都略少一些。如果只是暂时需要一台大内存 Mac，可以比较一下租用与购买 Mac Studio M5 Ultra。对于 Qwen3.5 397B，计算器使用我们在 32k 上下文下实测的峰值（227.5 GB）而非估算值，详见我们对该模型的测试。