繁
2026年10月26日 · Jakub M.
Mac Studio M5 Ultra 實測：Qwen3 235B 每秒 46 個 token，提示詞讀取飛快
捷克科技網站 Vše Smart 以 llama.cpp 和 MLX 在 256 GB 的 Mac Studio M5 Ultra 上測試了五個語言模型。其中最大的 Qwen3 235B 佔用 133 GB 記憶體，每秒生成 46 個 token。我們來看看這些結果對執行大型模型代表什麼。
來源：Mac Studio M5 Ultra v testu: Qwen3 235B a rychlost čtení promptů，Ludvík Eckerman，Vše Smart，2026 年 10 月 26 日（捷克語）。以下所有數據均來自該文。
捷克網站 Vše Smart 發表了一篇搭載 M5 Ultra 晶片的 Mac Studio 詳細測試。它與我們出租的配置相同：80 核心 GPU 和 256 GB 統一記憶體。該測試聚焦於我們第一次基準測試未涵蓋的兩點：Mac 讀取長提示詞的速度，以及一個裝不進 128 GB 機器的模型。
Vše Smart 的測試方法
- 硬體：Mac Studio M5 Ultra（80 核心 GPU），256 GB，macOS 27.0.1，測試時不執行其他程式。
- 軟體：所有層都在 GPU 上執行的 llama.cpp，以及搭配 mlx-lm 的 MLX 0.32。功耗和溫度由 macmon 記錄。
- 模型：Qwen3 8B、Qwen3 30B-A3B、Llama 3.3 70B、gpt-oss-120b 和 Qwen3 235B-A22B，均為 4 位元量化（gpt-oss 為 MXFP4）。Qwen3 235B 僅在 MLX 中測試。
- 測試：512、4,096 和 16,384 個 token 的提示詞，各生成 128 個 token，另加十分鐘持續負載。測於 2026 年 10 月 24 日。
結果
| 模型 | 記憶體 | 生成（llama.cpp） | 生成（MLX） | 4k 提示詞（llama.cpp） | 4k 提示詞（MLX） |
|---|---|---|---|---|---|
| Qwen3 8B | ≈ 5 GB | 149 | 176 | 4,205 | 6,360 |
| Qwen3 30B-A3B | ≈ 18 GB | 172 | 159 | 4,535 | 9,870 |
| Llama 3.3 70B | ≈ 42 GB | 23 | 25 | 509 | 716 |
| gpt-oss-120b | ≈ 63 GB | 142 | 130 | 3,387 | 6,538 |
| Qwen3 235B-A22B | ≈ 133 GB | – | 46 | – | 1,656 |
空上下文下每秒 token 數：生成 128 個 token，以及讀取 4,096 個 token 的提示詞。Qwen3 235B 僅在 MLX 中測試。來源：Vše Smart，測於 2026 年 10 月 24 日。
MLX 讀取提示詞最快可達兩倍
模型寫出回答的第一個字之前，必須先讀完整個提示詞，例如你想摘要的一份文件。根據 Vše Smart 的測試，所有模型在 MLX 中讀取提示詞的速度都是 llama.cpp 的 1.4 到 2.2 倍，其中 Qwen3 30B-A3B 差距最大。在 MLX 中使用 gpt-oss-120b，一份 4,000 個 token 的文件不到一秒就能讀完。生成速度方面兩者沒有明顯贏家，因此值得用你自己的模型兩者都試試。
長上下文
| 模型 | 生成 | 讀取提示詞 |
|---|---|---|
| Qwen3 8B | 121 | 5,240 |
| Qwen3 30B-A3B | 115 | 6,822 |
| Llama 3.3 70B | 22 | 650 |
| gpt-oss-120b | 114 | 6,332 |
| Qwen3 235B-A22B | 33 | 1,289 |
MLX，16,384 個 token 的提示詞，隨後生成 128 個 token，單位為每秒 token 數。來源：Vše Smart。
使用 16,384 個 token 的提示詞時，MLX 中的生成速度視模型不同下降約 12% 到 31%。
Qwen3 235B 需要超過 128 GB
最大的模型佔用約 133 GB 記憶體，每秒生成約 46 個 token，比大多數人的閱讀速度還快。它裝不進 128 GB 的 Mac，這正是 256 GB 配置的價值所在。
溫度、功耗以及與 M3 Ultra 的比較
GPU 最高溫度為 87 °C，晶片在讀取提示詞時功耗最高 215 W。風扇升至 2,265 rpm，即最高轉速的 62%；在十分鐘持續負載中未觀察到降頻。在使用 Llama 2 7B（Q4_0）的 llama.cpp 標準測試中，文章估計 M5 Ultra 讀取提示詞的速度約為 M3 Ultra 的 3.5 倍，生成速度約為 2 倍。作者指出，M3 Ultra 的數據來自以舊版本測得的 llama.cpp 社群表格，因此該比較僅供參考。
正如文章所說，該測試衡量的是速度而非回答品質，只使用 4 位元量化和單一請求，提供的是晶片功耗而非整機功耗。
親自試試
256 GB 的 Mac Studio M5 Ultra 最短可租一天，你可以在上面測試自己的模型。它在長時間負載下的表現，請看我們的一小時負載測試。