2026年11月12日 · Jakub M.

單台 Mac Studio M5 Ultra 執行 Qwen3.5 397B：224 GB，每秒 62 個 token

3970 億參數的模型在 4 位元量化下約占 224 GB。我們在一台 256 GB 的 Mac Studio M5 Ultra 上執行它：每秒生成約 62 個 token，能處理 12.8 萬 token 的上下文，而且無需更改任何 macOS 設定。

此前我們測試過的最大模型是約 133 GB 的 Qwen3 235B。這次我們挑戰 Mac 記憶體的極限：Qwen3.5 397B-A17B 是擁有 3970 億參數的 mixture-of-experts 模型，每個 token 約有 170 億參數參與運算。4 位元 MLX 格式下約占 224 GB。

測試方法

• 硬體：搭載 Apple M5 Ultra（36 核心 CPU、80 核心 GPU）與 256 GB 統一記憶體的 Mac Studio，macOS 27.2.1。
• 軟體：Python 3.12、MLX 0.32.4、mlx-lm 0.32.2，模型為 mlx-community/Qwen3.5-397B-A17B-4bit。
• 測試：使用內建工具 mlx_lm.benchmark，提示詞由固定亂數種子產生的隨機 token 組成，每次測量前先暖機一次。512 和 8,192 token 的提示詞各生成 128 個 token（分別執行 3 次和 2 次），之後用更長的提示詞直到 131,072 token，各生成 64 個 token（各執行 1 次）。

結果

Qwen3.5 397B-A17B，4 位元 MLX（mlx-community），mlx-lm 0.32.2，macOS 27.2.1，測量於 2026 年 11 月 12 日。512 和 8,192 token：生成 128 個 token，分別取 3 次和 2 次平均；更長的提示詞：生成 64 個 token，測量 1 次。512 token 提示詞的處理速度各次之間有波動（每秒 141 至 195 個 token）。

無需更改設定

我們原以為在預設設定下模型放不下。較舊的 macOS 只讓 GPU 使用約四分之三的記憶體，在 256 GB 的 Mac 上約為 192 GB。但在我們執行 macOS 27.2.1 的 Mac 上，Metal 回報的建議上限為 240 GB（2577 億位元組），即除 16 GB 外的全部記憶體。模型在預設設定下的速度與手動設定上限時相同，交換空間始終低於 45 MB，macOS 全程回報記憶體壓力正常。我們的另一台 256 GB Mac 也測得同樣的 240 GB。我們也據此更新了 RAM 計算器。

這對租用者很重要：他們沒有管理員權限，無法自行提高上限。在這些 Mac 上也不需要這麼做。

長上下文幾乎不增加記憶體

從 512 token 到 131,072 token 的提示詞，記憶體峰值只增加約 6 GB，從 224.3 GB 增至 230.6 GB。即使在最長的上下文下，系統仍有超過 25 GB 的可用記憶體。不過速度會隨上下文增長而下降：生成速度從每秒 62 個 token 降到 44 個，依然是舒適的閱讀速度。

更大，卻更快

在我們 10 月的測試中，Qwen3 235B 在空上下文時每秒生成 46 個 token，16,384 token 提示詞時為 33 個。Qwen3.5 397B 的規模幾乎是它的兩倍，但在類似條件下每秒生成約 62 和 58 個 token。原因是每個 token 的活躍參數較少：約 170 億，而不是 220 億。10 月的測試使用較舊的軟體版本和略有不同的方法，因此比較僅供參考。

功耗

測試期間晶片（CPU 和 GPU）的最高功耗約為 104 W，使用 powermetrics 以 2 秒間隔測量。由於測量還包含模型載入和暫停時間，我們不提供平均值。

測試的限制

我們在一台 Mac 上以單一請求測量了一個模型。隨機 token 組成的提示詞只能反映純粹的速度；在實際任務中速度可能不同。本測試不衡量回答品質，4 位元版本的回答可能略遜於完整模型。

親自試試

如果想執行這種規模的模型，又不想花 12,000 多歐元買一台 Mac，可以租用 256 GB 的 Mac Studio M5 Ultra，最短一天起租。

申請租用 效能

← 所有文章