繁
2026年10月15日 · Jakub M.
256 GB 的 Mac Studio M5 Ultra 與本機 AI：我們實測了六個模型
配備 M5 Ultra 與 256 GB 統一記憶體的 Mac Studio，實際每秒能生成多少 token？我們執行了六個 90 億到 1200 億參數的熱門開源模型，分別測試空上下文和長上下文，並記錄了記憶體用量。
針對本機語言模型的 Apple Silicon 測試，通常只給出一個模型的一個數字，也不說明是怎麼測的。我們想要完整且可重現的數據，因此用相同方式測量所有模型，並寫下測試方法。
測試平台與方法
- 硬體：配備 Apple M5 Ultra、256 GB 統一記憶體和 4 TB SSD 的 Mac Studio。就是我們出租的那台機器。
- 軟體：macOS 27.0.1、Python 3.12，以及建構於 Apple MLX 框架上的 mlx-lm 0.32。
- 模型：Hugging Face 上 mlx-community 組織提供的 MLX 轉換版本，採 4 位元量化。gpt-oss 模型的專家權重使用 MXFP4（「MXFP4-Q8」版本），Gemma 4 31B 為 QAT 4 位元版本。
- 測試：512 個提示詞 token，接著生成 128 個 token，上下文中分別已有 0、8,192 和 32,768 個 token。空上下文執行兩次取平均，較長的上下文執行一次。提示詞由隨機 token 組成。使用真實提示詞和較長回答時，速度可能不同。
- 記憶體：測試期間 MLX 回報的記憶體峰值，包含模型權重和上下文快取。
結果
| 模型 | 類型 | 大小 | 生成（空） | 生成（8k） | 生成（32k） | 記憶體（空） | 記憶體（32k） |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | 稠密 | 6.0 GB | 167 | 161 | 141 | 5.5 GB | 7.4 GB |
| gpt-oss-20b | MoE | 12.1 GB | 184 | 172 | 145 | 11.7 GB | 12.8 GB |
| Qwen3.5 27B | 稠密 | 16.1 GB | 55 | 53 | 48 | 15.3 GB | 18.8 GB |
| Gemma 4 31B | 稠密 | 28.8 GB | 31 | 27 | 21 | 26.6 GB | 31.5 GB |
| Qwen3.5 35B-A3B | MoE | 20.4 GB | 162 | 154 | 141 | 18.8 GB | 20.6 GB |
| gpt-oss-120b | MoE | 63.4 GB | 120 | 113 | 96 | 59.5 GB | 61.0 GB |
生成速度以每秒 token 數計。「空」「8k」「32k」指上下文中已有的 token 數。記憶體為 MLX 回報的峰值。以上是在所述條件下測得的結果，並非保證：實際速度取決於模型、量化方式、上下文長度、軟體設定和工作內容。
數字說明了什麼
混合專家模型快得多
測試中最快的模型並不是最小的。gpt-oss-20b 每秒生成 184 個 token，連 gpt-oss-120b 也能達到 120 個。兩者都是混合專家（MoE）模型：每個 token 只使用一小部分參數，根據 OpenAI 的資料，gpt-oss-20b 約 36 億，gpt-oss-120b 約 51 億。Qwen3.5 35B-A3B 的原理相同，約有 30 億個啟用參數，每秒可達 162 個 token。
稠密模型每個 token 都使用全部參數，因此較慢：Qwen3.5 27B 每秒生成 55 個 token，Gemma 4 31B 為 31 個。即使是測試中最慢的模型，每秒 31 個 token 的速度也比大多數人的閱讀速度快。
長上下文會慢 12% 到 32%
當上下文中已有 32,768 個 token 時，大多數模型的生成速度下降了 12% 到 21%。Gemma 4 31B 下降最多，從每秒 31 個降到 21 個，約少了三分之一。如果您處理長文件或大型程式碼庫，最該關注的就是這一欄。
256 GB 留有充足空間
我們測試的最大模型 gpt-oss-120b，連同 32k 上下文只需要 61 GB，不到記憶體的四分之一。依我們的計算，剩餘空間足以容納大得多的模型，例如 Qwen3.5 122B-A10B（4 位元約 70 GB），甚至 4 位元檔案達 224 GB 的 Qwen3.5 397B-A17B。這些我們尚未測試，而且上下文和系統也需要記憶體。這也讓您可以同時執行多個模型，例如用一個大型模型回答問題，再用一個小模型做快速路由或嵌入。
我們沒有測量的部分
- 提示詞處理速度。我們 512 個 token 的短測試結果波動較大，依模型約在每秒 500 到 5,000 個 token 之間。這足以說明讀取提示詞比生成快很多倍，但不足以提供精確數字。我們會補上更長時間的測量。
- 其他執行環境。我們只使用了 MLX。llama.cpp、Ollama 或 LM Studio 中的 GGUF 模型可能得出不同結果。
- 回答品質、功耗和最大的模型（122B 和 397B）。這些是我們接下來的測試項目。
用您自己的工作來試試
別人的測試數據永遠無法完全回答一台機器是否適合您的工作。所以我們出租的正是這台 Mac Studio，一天起租，可透過 SSH 或遠端桌面使用。如果您正在考慮購買，可以先在上面執行自己的模型和資料。