2026年10月16日 · Jakub Mokříš
在 Mac Studio M5 Ultra 上跑 15 个 AI 模型：实际每秒能生成多少 token
捷克科技网站 Vše Smart 在配备 M5 Ultra 和 256 GB 内存的 Mac Studio 上测试了 32 个本地语言模型。我们从中挑出 15 个，从小巧的 Qwen3 4B 到拥有 1230 亿参数的 Mistral Large，看看这些数字对日常工作意味着什么。
本地模型的速度对比，通常只覆盖两三个模型。Vše Smart 编辑部在配备 256 GB 统一内存的 Mac Studio M5 Ultra 上测了 32 个模型，每个跑了 11 次。我们从结果中选出 15 个，大小模型、稠密模型和混合专家（MoE）模型都有涉及。
测试方法
模型在 Ollama 中运行，由一个简单的 Python 脚本控制。所有模型的任务相同：写一篇关于现代汽车构造的较长技术文章，输出上限 2,000 个 token，温度 0，上下文 8,192 个 token。每个模型的第一次运行作为预热不计入，结果取后十次的平均值。模型之间间隔半分钟。
整个测试耗时四个多小时，期间共生成了 70 多万个 token。测试只衡量速度，不评价回答质量。
结果
| 模型 | 类型 | 生成速度 |
|---|---|---|
| Qwen3 4B | 稠密 | |
| Qwen3 30B-A3B | MoE，激活 3B | |
| gpt-oss-20b | MoE，激活 3.6B | |
| Qwen3.5 35B-A3B | MoE，激活 3B | |
| Qwen3.5 9B | 稠密 | |
| gpt-oss-120b | MoE，激活 5.1B | |
| Gemma 4 26B-A4B | MoE，激活 4B | |
| Qwen3-Next 80B-A3B | MoE，激活 3B | |
| Qwen3.5 122B-A10B | MoE，激活 10B | |
| Llama 4 Scout | MoE，激活 17B | |
| Mistral Small 3.2 24B | 稠密 | |
| Qwen3.5 27B | 稠密 | |
| Gemma 4 31B | 稠密 | |
| Llama 3.3 70B | 稠密 | |
| Mistral Large 123B | 稠密 |
Ollama 中十次运行的平均值，输出 2,000 个 token，上下文 8k。MoE 即混合专家，“激活”指每个 token 用到的参数量。数据来源：Vše Smart。
模型大小说明不了速度
最典型的例子是 gpt-oss-120b 和 Llama 3.3 70B。OpenAI 的模型参数量更多（1170 亿对 700 亿），生成速度却快了五倍：每秒 115 个 token 对 23 个。差别在于架构。gpt-oss-120b 是混合专家模型，每个 token 只用到约 50 亿参数；Llama 3.3 是稠密模型，每次都要动用全部 700 亿参数。
Qwen 也是如此。激活参数为 100 亿的 122B-A10B 版本每秒 85 个 token，而只有它四分之一大小的稠密模型 Qwen3.5 27B 只有 48 个。如果你最看重速度，应该看激活参数量，而不是总参数量。
多快才算够用
日常聊天每秒 20 个 token 左右就够了，这个速度下文字出现得比大多数人阅读还快。表中 15 个模型里，只有 Mistral Large（每秒 14 个）低于这条线。不过它仍然适合那些不需要守在屏幕前等待的任务，比如夜间批量处理文档。
当编程助手需要写出大段代码时，速度的差别就明显得多。这类场景更适合每秒 80 个 token 以上的模型，例如 gpt-oss-120b、Qwen3-Next 80B 或 Qwen3.5 122B。
与我们自己的测量一致
其中几个模型我们也在自己的 Mac Studio 上测过，用的是 MLX 而不是 Ollama，方法也略有不同。数字相差几个到几十个百分点，但整体情况一致：gpt-oss-120b 在我们这里是每秒 120 个 token（Vše Smart 为 115），gpt-oss-20b 为 184（169），Qwen3.5 27B 为 55（48）。Gemma 4 31B 在我们这里反而更慢，31 对 40，因为我们用的是另一个版本的模型。详情见我们的测试文章。
亲自试试
32 个模型全部装进了 256 GB 内存，而且还有余量。如果你在考虑购买这样一台机器，或者只需要用几天，可以租用我们的 Mac Studio M5 Ultra（256 GB）。目前按天和按周租用免费。
数据来源：Vše Smart：Mac Studio M5 Ultra 实测 32 个本地 AI 模型（Ludvík Eckerman，2026 年 10 月 5 日，捷克语）。