ZH
2026年11月11日 · Jakub M.
两台配置相同的 Mac Studio M5 Ultra：本地 AI 速度有差别吗？
我们有两台配备 M5 Ultra 和 256 GB 统一内存的 Mac Studio：一台从 10 月开始运行，另一台是全新的。我们在两台机器上用三个语言模型运行了相同的测试，生成速度相差不到 0.5%。
同一型号、同一配置的两台电脑理应一样快。不过有时也会听到不同个体之间存在差异的说法，所以我们想知道在本地 AI 中差异有多大。对我们来说这是个实际问题：客户租用的是一种配置，无论分到哪一台，都应获得相同的性能。
测试环境与方法
- 硬件：两台 Mac Studio，搭载 Apple M5 Ultra（36 核 CPU、80 核 GPU）和 256 GB 统一内存。一台自 10 月起使用，另一台是新机。
- 软件：两台完全相同：macOS 27.2.1、Python 3.12、MLX 0.32.4 和 mlx-lm 0.32.2。
- 模型：来自 Hugging Face 上 mlx-community 组织的 4 位 MLX 版本：Qwen3 30B-A3B、Llama 3.3 70B Instruct 和 gpt-oss-120b（MXFP4-Q8）。
- 测试：使用内置工具
mlx_lm.benchmark，分别测试短提示词（512 个 token，运行 3 次）和长提示词（8,192 个 token，运行 2 次），每次生成 128 个 token。提示词由固定随机种子生成的随机 token 组成，因此两台 Mac 得到的输入完全相同。每项测量前都先进行一次预热运行，两台 Mac 在同一天完成测量。
结果
| 模型 | 提示词（token） | 提示词处理，较旧的 Mac | 提示词处理，新 Mac | 生成，较旧的 Mac | 生成，新 Mac | 内存峰值 |
|---|---|---|---|---|---|---|
| Qwen3 30B-A3B | 512 | 2,285 | 2,237 | 162.2 | 162.2 | 17.8 GB |
| Qwen3 30B-A3B | 8,192 | 7,646 | 7,602 | 138.1 | 138.0 | 18.7 GB |
| Llama 3.3 70B | 512 | 469 | 467 | 25.2 | 25.3 | 40.3 GB |
| Llama 3.3 70B | 8,192 | 682 | 683 | 23.6 | 23.6 | 43.3 GB |
| gpt-oss-120b | 512 | 1,077 | 1,046 | 121.4 | 121.2 | 63.8 GB |
| gpt-oss-120b | 8,192 | 5,143 | 5,109 | 114.8 | 115.2 | 64.5 GB |
提示词处理和生成速度为每秒 token 数，取多次运行的平均值（512 token 运行 3 次，8,192 token 运行 2 次），生成 128 个 token。较旧的 Mac：10 月起投入使用；新 Mac：全新。配置相同，4 位 MLX 模型，mlx-lm 0.32.2，macOS 27.2.1，测量于 2026 年 11 月 11 日。
数据说明了什么
生成速度，也就是模型写出回答的速度，在两台 Mac 上相同：三个模型、两种提示词长度下的差异最大只有 0.35%。长提示词的处理速度差异最大为 0.7%。内存峰值精确到 0.1 GB 都一致。
短提示词测试中，新 Mac 的处理速度慢了 2% 到 3%。但这项测试只需 0.2 到 0.5 秒，而且同一台 Mac 重复运行的结果之间也相差可达 3%。因此我们不认为这一差异是真实存在的。
结果也与我们 10 月的测量一致：当时 gpt-oss-120b 每秒生成 120 个 token，现在是 121 个。
测试的局限
我们只比较了两台机器，因此结论不能代表所有 Mac Studio M5 Ultra。随机 token 组成的提示词和较短的生成只能反映纯粹的速度；在真实任务和更长的回答中，速度可能有所不同。本测试不衡量回答质量。
亲自试试
想知道所需模型要占用多少内存，可以使用我们的 RAM 计算器。如需自己测试，可以租用 256 GB 的 Mac Studio M5 Ultra，最短一天起租。