ZH
2026年10月22日 · Jakub M.
Mac Studio M5 Ultra 满载运行一小时：一百万个 token 要花多少钱
我们让自己的 Mac Studio 同时运行 16 个 AI 模型，连续一小时生成文本，并每十秒记录一次速度、功耗和温度。它生成了 98 万个 token，速度没有下降，每百万个 token 耗电 0.074 kWh。
在本地运行 AI 到底要花多少钱？我们在自己的 Mac Studio（M5 Ultra、256 GB 内存，也就是我们出租的同一台机器）上做了一小时测试，每十秒记录一次速度、芯片功耗和芯片温度。
测试方法
- 硬件：搭载 Apple M5 Ultra（36 核 CPU、80 核 GPU）、256 GB 统一内存、macOS 27.0.1 的 Mac Studio。测试期间没有运行其他任何程序。
- 模型：OpenAI 的 gpt-oss-20b，适用于 Apple MLX 的 MXFP4-Q8 版本（MLX 0.32.4、mlx-lm 0.32.2）。这是一个拥有 210 亿参数的 MoE 模型，每个 token 约使用 36 亿参数，占用约 12 GB 内存。
- 负载：16 个独立程序各自加载一份模型，同时生成文本 60 分钟，模拟 16 个用户或 AI 智能体。每次生成上限为 2,000 个 token，之后用同一任务（一篇关于内燃机工作原理的长篇技术文章）重新开始。
- 测量：每 10 秒记录一次已生成的 token 数、芯片功耗以及 CPU 和 GPU 的平均温度，数据由 macmon 0.10.0 从 macOS 读取。耗电量为平均功耗乘以时间。
结果
| 结果 | |
|---|---|
| 测试时长 | 60 分钟 |
| 并行流数量 | 16 |
| 生成量 | 98 万个 token |
| 速度 | 每秒 273 个 token |
| 速度（前／后六分之一） | 272 / 272 tok/s |
| 芯片功耗，平均（最高） | 73 W（76 W） |
| 稳定后 CPU／GPU 温度 | 63 / 66 °C |
| CPU／GPU 最高温度 | 66 / 70 °C |
| 每百万 token 耗电 | 0.074 kWh |
瓶颈是内存速度，而不是算力
生成文本时，限制 Mac 的是内存带宽，而不是算力。每生成一个 token，GPU 都要从内存读取模型的相应部分，大部分时间都在等待数据。因此即使有 16 个并行流，芯片功耗也只有 73 W。
16 个程序共享 GPU，各自读取自己的模型副本。它们合计每秒生成 273 个 token，每个流约 17 个。对一个人聊天来说偏慢，但对于在后台工作的一组智能体已经足够。推理服务器的做法不同：它们把许多用户的请求放进同一批次处理，所有人只需读取一次模型，因此能从同一台 Mac 获得更多每秒 token。本次测试没有测量这种方式。
温度与稳定性
GPU 温度在第四分钟升至 70 °C，随后回落，从第五分钟起稳定在 66 °C。CPU 稳定在 63 °C。风扇压住了热量，芯片无需降速：在测试的前六分之一和最后六分之一，Mac 都保持每秒 272 个 token。
电费是多少
满载一小时耗电 0.073 kWh。这样运行一整天约 1.75 kWh，每百万个 token 需要 0.074 kWh。按每 kWh 0.25 欧元计算，每百万个 token 不到 2 欧分，每天约 44 欧分。对本地 AI 来说，电费几乎可以忽略，关键在于电脑本身的价格。
测试没有反映的内容
- 整机功耗。我们只测量了芯片（CPU、GPU 和神经网络引擎）。风扇、SSD、网络和电源损耗未计入，因此插座端的实际功耗会略高。
- 批处理。16 个独立程序不等同于一台在同一批次中服务多个用户的服务器。
- 大模型。gpt-oss-20b 体积小、速度快。700 亿参数的稠密模型对 Mac 的负载方式会不同。
- 文本质量。我们只测量了速度和功耗，没有评估模型写了什么。
以上是在所述条件下测得的结果，并非保证：实际速度和功耗取决于模型、量化方式、上下文长度、软件和任务类型。
亲自试试
如果你想看看自己的模型在负载下的表现，可以从一天起租用这台 256 GB 的 Mac Studio M5 Ultra。更多测量结果见我们的六个模型基准测试。