2026年10月15日 · Jakub Mokříš
256 GB 的 Mac Studio M5 Ultra 与本地 AI：我们实测了六个模型
配备 M5 Ultra 和 256 GB 统一内存的 Mac Studio，每秒究竟能生成多少 token？我们在空上下文和长上下文下测试了六个热门开源模型（90 亿至 1200 亿参数），并记录了内存占用。
Apple Silicon 运行本地语言模型的测试，通常只给出一个模型的一个数字，却不说明是如何测得的。我们想要完整、可复现的数据，因此用同样的方法测试了所有模型，并写明了测试方法。
测试平台与方法
- 硬件：Mac Studio，Apple M5 Ultra，256 GB 统一内存，4 TB SSD。正是我们出租的那台机器。
- 软件：macOS 27.0.1、Python 3.12，以及基于 Apple MLX 框架的 mlx-lm 0.32。
- 模型：Hugging Face 上 mlx-community 提供的 MLX 版本，4 位量化。gpt-oss 的专家权重采用 MXFP4（“MXFP4-Q8”版本），Gemma 4 31B 为 4 位 QAT 版本。
- 测试：在上下文中已有 0、8,192 和 32,768 个 token 的情况下，输入 512 个 token 的提示词，然后生成 128 个 token。空上下文测两次取平均，长上下文测一次。提示词为随机 token，因为速度与文本内容无关。
- 内存：测试期间 MLX 报告的峰值内存，包括模型权重和上下文缓存。
结果
| 模型 | 类型 | 大小 | 生成（空） | 生成（8k） | 生成（32k） | 内存（空） | 内存（32k） |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | 稠密 | 6.0 GB | 167 | 161 | 141 | 5.5 GB | 7.4 GB |
| gpt-oss-20b | MoE | 12.1 GB | 184 | 172 | 145 | 11.7 GB | 12.8 GB |
| Qwen3.5 27B | 稠密 | 16.1 GB | 55 | 53 | 48 | 15.3 GB | 18.8 GB |
| Gemma 4 31B | 稠密 | 28.8 GB | 31 | 27 | 21 | 26.6 GB | 31.5 GB |
| Qwen3.5 35B-A3B | MoE | 20.4 GB | 162 | 154 | 141 | 18.8 GB | 20.6 GB |
| gpt-oss-120b | MoE | 63.4 GB | 120 | 113 | 96 | 59.5 GB | 61.0 GB |
生成速度单位为每秒 token 数。“空”“8k”“32k”指上下文中已有的 token 数。内存为 MLX 报告的峰值。
数据说明了什么
混合专家模型明显更快
测试中最快的模型并不是最小的。gpt-oss-20b 每秒生成 184 个 token，连 gpt-oss-120b 也达到 120。两者都是混合专家（MoE）模型：每个 token 只用到一小部分参数，据 OpenAI 介绍，gpt-oss-20b 约 36 亿，gpt-oss-120b 约 51 亿。Qwen3.5 35B-A3B 同样如此，激活参数约 30 亿，达到每秒 162 个 token。
稠密（dense）模型每个 token 都要用到全部参数，因此更慢：Qwen3.5 27B 每秒 55 个 token，Gemma 4 31B 为 31。作为参考，每秒约 20 个 token 已经超过大多数人的阅读速度，所以即使是测试中最慢的模型，聊天也很流畅。
长上下文会慢 12% 至 32%
上下文中有 32,768 个 token 时，大多数模型的生成速度下降了 12% 至 21%。下降最多的是 Gemma 4 31B，从每秒 31 个降到 21 个，约三分之一。如果你处理长文档或大型代码库，请重点看这一列。
256 GB 绰绰有余
测试中最大的模型 gpt-oss-120b，连同 32k 上下文也只用了 61 GB，不到内存的四分之一。剩余空间足以运行大得多的模型，例如 Qwen3.5 122B-A10B（4 位版本约 70 GB），甚至 4 位文件达 224 GB 的 Qwen3.5 397B-A17B。也可以同时运行多个模型，比如一个大模型负责回答，一个小模型负责快速分流请求或生成嵌入。
我们没有测试的内容
- 提示词处理速度。512 个 token 的短测试结果波动较大，视模型而定约为每秒 500 至 5,000 个 token。这足以说明读取提示词比生成快很多倍，但不足以给出精确数字。我们会补充更长时间的测试。
- 其他软件。我们只用了 MLX。llama.cpp、Ollama 或 LM Studio 中的 GGUF 模型可能得到不同结果。
- 回答质量、功耗以及最大的模型（122B 和 397B）。这是我们接下来的计划。
用你自己的工作来试试
别人的测试数据永远无法完全回答一台机器是否适合你的工作。所以我们出租的正是这台 Mac Studio，一天起租，可通过 SSH 或远程桌面使用。如果你正在考虑购买，可以先在上面运行你自己的模型和数据。