繁
2026年10月16日 · Jakub M.
Mac Studio M5 Ultra 上的十五個 AI 模型：實際每秒能跑多少 token
捷克科技網站 Vše Smart 在配備 M5 Ultra 與 256 GB 記憶體的 Mac Studio 上執行了 32 個本機語言模型。我們從中挑選了十五個，從小巧的 Qwen3 4B 到 1230 億參數的 Mistral Large，看看這些數字對日常工作的意義。
本機模型的速度比較，通常只列出兩三個名稱就結束了。Vše Smart 團隊在配備 256 GB 統一記憶體的 Mac Studio M5 Ultra 上測量了三十二個模型，每個測十一次。我們從他們的結果中選出十五個，能完整涵蓋整個領域：小型與大型、稠密與混合專家。
測量方式
模型在 Ollama 中執行，由一個簡單的 Python 指令碼控制。每個模型都接到相同的任務：撰寫一篇介紹現代汽車製造方式的長篇技術文章，輸出上限 2,000 個 token，溫度為 0，上下文 8,192 個 token。每個模型的第一次執行作為暖機捨棄，結果取後續十次的平均值。模型之間間隔 30 秒。
整個測試耗時超過四小時，期間模型共生成了超過 70 萬個 token。只測量了速度，測試並未評估回答的品質。
結果
| 模型 | 類型 | 生成速度 |
|---|---|---|
| Qwen3 4B | 稠密 | |
| Qwen3 30B-A3B | MoE，啟用 3B | |
| gpt-oss-20b | MoE，啟用 3.6B | |
| Qwen3.5 35B-A3B | MoE，啟用 3B | |
| Qwen3.5 9B | 稠密 | |
| gpt-oss-120b | MoE，啟用 5.1B | |
| Gemma 4 26B-A4B | MoE，啟用 4B | |
| Qwen3-Next 80B-A3B | MoE，啟用 3B | |
| Qwen3.5 122B-A10B | MoE，啟用 10B | |
| Llama 4 Scout | MoE，啟用 17B | |
| Mistral Small 3.2 24B | 稠密 | |
| Qwen3.5 27B | 稠密 | |
| Gemma 4 31B | 稠密 | |
| Llama 3.3 70B | 稠密 | |
| Mistral Large 123B | 稠密 |
Ollama 中十次執行的平均值，輸出 2,000 個 token，上下文 8k。MoE 即混合專家，「啟用」指每個 token 使用的參數量。資料來源：Vše Smart。Ollama 的結果不能與我們在 MLX 中的測量直接比較。以上是在所述條件下測得的結果，並非保證：實際速度取決於模型、量化方式、上下文長度、軟體設定和工作內容。
規模很難說明速度
最明顯的例子是 gpt-oss-120b 對上 Llama 3.3 70B。OpenAI 的模型參數更多（1170 億對 700 億），寫作速度卻快了五倍：每秒 115 個 token 對 23 個。差別在於架構。gpt-oss-120b 是混合專家模型，每個 token 只使用約 50 億個參數。Llama 3.3 是稠密模型，每次都要用上全部 700 億個參數。
Qwen 也是如此。啟用參數為 100 億的 122B-A10B 版本每秒可達 85 個 token，而規模只有其四分之一的稠密模型 Qwen3.5 27B 只有 48 個。如果您重視速度，啟用參數通常比總規模更有參考價值，不過架構、量化方式和軟體也有影響。
多快才算夠快
一般聊天時，每秒約 20 個 token 通常就感覺流暢。表中的十五個模型裡，只有 Mistral Large 低於這條線，每秒 14 個 token。它仍適合不需要有人等待的工作，例如在夜間處理文件。
當程式設計助理要寫出長段程式碼時，速度就重要得多。這時每秒超過 80 個 token 的模型較為合適，例如 gpt-oss-120b、Qwen3-Next 80B 或 Qwen3.5 122B。
與我們自己的測量一致
我們在自己的 Mac Studio 上測量了其中幾個相同的模型，改用 MLX 而非 Ollama，方法也略有不同。數字相差幾個到幾十個百分點，但整體趨勢一致。gpt-oss-120b 在我們這裡為每秒 120 個 token（Vše Smart：115），gpt-oss-20b 為 184（169），Qwen3.5 27B 為 55（48）。Gemma 4 31B 在我們這裡較慢，31 對 40，因為我們使用了不同版本的模型。詳情請見我們的基準測試文章。
親自試試
全部三十二個模型都能放進 256 GB 記憶體，而且還有餘裕。如果您正在考慮購買這樣一台機器，或只需要用上幾天，可以租用我們的 256 GB Mac Studio M5 Ultra。
資料來源：Vše Smart：Mac Studio M5 Ultra 實測 32 個本機 AI 模型（Ludvík Eckerman，2026 年 10 月 5 日，捷克語）。