ZH
2026年10月26日 · Jakub M.
Mac Studio M5 Ultra 实测：Qwen3 235B 每秒 46 个 token，提示词读取飞快
捷克科技网站 Vše Smart 用 llama.cpp 和 MLX 在 256 GB 的 Mac Studio M5 Ultra 上测试了五个语言模型。其中最大的 Qwen3 235B 占用 133 GB 内存，每秒生成 46 个 token。我们来看看这些结果对运行大模型意味着什么。
来源：Mac Studio M5 Ultra v testu: Qwen3 235B a rychlost čtení promptů，Ludvík Eckerman，Vše Smart，2026 年 10 月 26 日（捷克语）。以下所有数据均来自该文。
捷克网站 Vše Smart 发布了一篇搭载 M5 Ultra 芯片的 Mac Studio 详细测试。它与我们出租的配置相同：80 核 GPU 和 256 GB 统一内存。该测试关注我们第一次基准测试没有覆盖的两点：Mac 读取长提示词的速度，以及一个装不进 128 GB 机器的模型。
Vše Smart 的测试方法
- 硬件：Mac Studio M5 Ultra（80 核 GPU），256 GB，macOS 27.0.1，测试时不运行其他程序。
- 软件：所有层都在 GPU 上运行的 llama.cpp，以及搭配 mlx-lm 的 MLX 0.32。功耗和温度由 macmon 记录。
- 模型：Qwen3 8B、Qwen3 30B-A3B、Llama 3.3 70B、gpt-oss-120b 和 Qwen3 235B-A22B，均为 4 位量化（gpt-oss 为 MXFP4）。Qwen3 235B 仅在 MLX 中测试。
- 测试：512、4,096 和 16,384 个 token 的提示词，各生成 128 个 token，另加十分钟持续负载。测于 2026 年 10 月 24 日。
结果
| 模型 | 内存 | 生成（llama.cpp） | 生成（MLX） | 4k 提示词（llama.cpp） | 4k 提示词（MLX） |
|---|---|---|---|---|---|
| Qwen3 8B | ≈ 5 GB | 149 | 176 | 4,205 | 6,360 |
| Qwen3 30B-A3B | ≈ 18 GB | 172 | 159 | 4,535 | 9,870 |
| Llama 3.3 70B | ≈ 42 GB | 23 | 25 | 509 | 716 |
| gpt-oss-120b | ≈ 63 GB | 142 | 130 | 3,387 | 6,538 |
| Qwen3 235B-A22B | ≈ 133 GB | – | 46 | – | 1,656 |
空上下文下每秒 token 数：生成 128 个 token，以及读取 4,096 个 token 的提示词。Qwen3 235B 仅在 MLX 中测试。来源：Vše Smart，测于 2026 年 10 月 24 日。
MLX 读取提示词最快可达两倍
模型写出回答的第一个字之前，必须先读完整个提示词，例如你想总结的一份文档。根据 Vše Smart 的测试，所有模型在 MLX 中读取提示词的速度都是 llama.cpp 的 1.4 到 2.2 倍，其中 Qwen3 30B-A3B 差距最大。在 MLX 中使用 gpt-oss-120b，一份 4,000 个 token 的文档不到一秒就能读完。生成速度方面两者没有明显赢家，因此值得用你自己的模型把两者都试一试。
长上下文
| 模型 | 生成 | 读取提示词 |
|---|---|---|
| Qwen3 8B | 121 | 5,240 |
| Qwen3 30B-A3B | 115 | 6,822 |
| Llama 3.3 70B | 22 | 650 |
| gpt-oss-120b | 114 | 6,332 |
| Qwen3 235B-A22B | 33 | 1,289 |
MLX，16,384 个 token 的提示词，随后生成 128 个 token，单位为每秒 token 数。来源：Vše Smart。
使用 16,384 个 token 的提示词时，MLX 中的生成速度视模型不同下降约 12% 到 31%。
Qwen3 235B 需要超过 128 GB
最大的模型占用约 133 GB 内存，每秒生成约 46 个 token，比大多数人的阅读速度还快。它装不进 128 GB 的 Mac，这正是 256 GB 配置的价值所在。
温度、功耗以及与 M3 Ultra 的比较
GPU 最高温度为 87 °C，芯片在读取提示词时功耗最高 215 W。风扇升至 2,265 rpm，即最高转速的 62%；在十分钟持续负载中未观察到降频。在使用 Llama 2 7B（Q4_0）的 llama.cpp 标准测试中，文章估计 M5 Ultra 读取提示词的速度约为 M3 Ultra 的 3.5 倍，生成速度约为 2 倍。作者指出，M3 Ultra 的数据来自用旧版本测得的 llama.cpp 社区表格，因此该比较仅供参考。
正如文章所说，该测试衡量的是速度而非回答质量，只使用 4 位量化和单个请求，给出的是芯片功耗而非整机功耗。
亲自试试
256 GB 的 Mac Studio M5 Ultra 最短可租一天，你可以在上面测试自己的模型。它在长时间负载下的表现，请看我们的一小时负载测试。