繁
2026年10月22日 · Jakub M.
Mac Studio M5 Ultra 滿載一小時：一百萬個 token 要花多少錢
我們讓 Mac Studio 同時用十六個 AI 模型連續生成文字整整一小時，每十秒記錄一次速度、功耗和溫度。它生成了 98 萬個 token 且沒有降速，每一百萬個 token 耗電 0.074 kWh。
在本機執行 AI 實際要花多少錢？我們在配備 M5 Ultra 與 256 GB 記憶體的 Mac Studio（也就是我們出租的同一台機器）上進行了一小時的測試，每十秒記錄一次速度、晶片功耗和晶片溫度。
測試方法
- 硬體：配備 Apple M5 Ultra（36 核心 CPU、80 核心 GPU）的 Mac Studio，256 GB 統一記憶體，macOS 27.0.1。測試期間機器上沒有執行其他程式。
- 模型：OpenAI 的 gpt-oss-20b，採用適用於 Apple MLX 的 MXFP4-Q8 版本（MLX 0.32.4、mlx-lm 0.32.2）。這是一個擁有 210 億參數的混合專家模型，每個 token 約使用其中 36 億個參數。它約佔用 12 GB 記憶體。
- 負載：十六個獨立程式同時生成文字 60 分鐘，每個程式載入各自的模型副本。這模擬了十六位使用者或 AI 代理。每次生成上限為 2,000 個 token，之後以相同任務重新開始：一篇介紹汽車引擎運作原理的長篇技術文章。
- 測量：每 10 秒記錄一次已生成的 token 數、晶片功耗以及 CPU 和 GPU 的平均溫度，數據由 macmon 0.10.0 從 macOS 讀取。能耗為平均功率乘以時間。
結果
| 結果 | |
|---|---|
| 測試時間 | 60 分鐘 |
| 平行串流數 | 16 |
| 生成量 | 98 萬個 token |
| 速度 | 每秒 273 個 token |
| 速度（前／後六分之一） | 272 / 272 tok/s |
| 晶片功耗，平均（最高） | 73 W（76 W） |
| 穩定後 CPU／GPU 溫度 | 63 / 66 °C |
| CPU／GPU 最高溫度 | 66 / 70 °C |
| 每百萬 token 耗電 | 0.074 kWh |
瓶頸是記憶體速度，而非運算能力
生成文字時，限制 Mac 的是記憶體頻寬而不是運算能力。每生成一個 token，GPU 都必須從記憶體讀取模型的相關部分，大部分時間都在等待資料。這也是為什麼即使有十六個串流，晶片功耗也只有 73 W。
十六個程式共用 GPU，各自讀取自己的模型副本。它們合計每秒生成 273 個 token，每個串流約 17 個。對一個人聊天來說偏慢，但足以支撐一組在背景工作的代理。推論伺服器的做法不同：它們把多位使用者的請求合併成一批處理，所有人只需讀取一次模型，因此能從同一台 Mac 榨出更多的每秒 token 數。本次測試沒有測量這種情況。
溫度與穩定性
GPU 溫度在第四分鐘升至 70 °C，之後回落，從第五分鐘起穩定在 66 °C。CPU 穩定在 63 °C。風扇跟得上，晶片無需降速：在測試的前六分之一和最後六分之一，Mac 都是每秒生成 272 個 token。
電費是多少
滿載一小時耗電 0.073 kWh。若整天都這樣執行，約需 1.75 kWh，每一百萬個 token 需要 0.074 kWh。以每 kWh 0.25 歐元計算，每百萬個 token 不到 2 歐分，每天約 44 歐分。對本機 AI 而言電費幾乎可以忽略，關鍵在於電腦本身的價格。
本測試未涵蓋的部分
- 整台電腦的功耗。我們只測量了晶片（CPU、GPU 和神經網路引擎）。風扇、SSD、網路和電源供應器的損耗未計入，因此從插座量到的耗電會略高一些。
- 批次服務。十六個獨立程式不等同於以單一批次服務多位使用者的伺服器。
- 大型模型。gpt-oss-20b 小而快。擁有 700 億參數的稠密模型對 Mac 的負載和功耗會有所不同。
- 輸出品質。我們只測量了速度和功耗，沒有評估模型寫了什麼。
以上是在所述條件下測得的結果，並非保證：實際速度和功耗取決於模型、量化方式、上下文長度、軟體和工作內容。
親自試試
如果您想看看自己的模型在負載下的表現，可以租用這台 256 GB 的 Mac Studio M5 Ultra，一天起租。更多實測請見我們的六個模型的基準測試。