2026年11月3日 · Jakub M.
128 GB 的 MacBook Pro M5 Max:筆電跑本機 AI 能走多遠
Vše Smart 在 128 GB 的 MacBook Pro M5 Max 上執行了 6 個開放模型,參數從 80 億到 1200 億不等。全部無需調整系統即可放下,gpt-oss-120b 每秒產生 110 個 token,晶片功耗僅 37–50 W。面對長上下文與大型稠密模型,筆電就力不從心了。
來源:MacBook Pro M5 Max se 128 GB RAM v testu lokálních AI modelů,Ludvík Eckerman,Vše Smart,2026 年 11 月 2 日(捷克語)。以下所有數據均來自該文。
筆電能勝任真正的本機 AI 嗎?捷克網站 Vše Smart 測試了最強的 MacBook Pro:M5 Max 晶片(18 核心 CPU、40 核心 GPU),128 GB 統一記憶體,頻寬 614 GB/s。6 個開放模型、2 個推論引擎,並量測了功耗。
測試方法
- 系統:macOS 27.2,高效能模式,接電源,GPU 記憶體上限為預設值(約 107 GB)。
- 軟體:llama.cpp(build 11669,Metal)以及 MLX 0.32.4 與 mlx-lm 0.32.2。
- 模型:Llama 3.1 8B、gpt-oss-20b、Qwen3 30B-A3B、Qwen3 32B、Llama 3.3 70B 與 gpt-oss-120b,4 位元量化(gpt-oss 為原生 MXFP4)。
- 方法:上下文 0 至 32,768 個 token,每項執行三次;晶片功耗以 powermetrics 量測;以 Qwen3 30B-A3B 進行十分鐘持續負載。
結果
| 模型 | 生成(llama.cpp) | 生成(MLX) | 32k 上下文生成(MLX) | 32k 首個 token(MLX) | 記憶體峰值(MLX) | 晶片功耗 | 每瓦 token 數 |
|---|---|---|---|---|---|---|---|
| Llama 3.1 8B | 102 | 115 | 60 | 17 秒 | 9.5 GB | 49.8 W | 2.02 |
| gpt-oss-20b | 156 | 142 | 105 | 7.5 秒 | 13.7 GB | 48.5 W | 3.24 |
| Qwen3 30B-A3B | 155 | 152 | 72 | 15 秒 | 21.1 GB | 41.1 W | 3.69 |
| Qwen3 32B | 26 | 28 | 18 | 72 秒 | 27.8 GB | 48.3 W | 0.53 |
| Llama 3.3 70B | 12.5 | 13.6 | 10 | 132 秒 | 51.3 GB | 40.5 W | 0.31 |
| gpt-oss-120b | 110 | 94 | 70 | 13.5 秒 | 65.5 GB | 37.3 W | 2.92 |
生成速度為每秒 token 數,4 位元模型(gpt-oss 為 MXFP4),未註明時為空上下文。功耗為 llama.cpp 生成期間僅晶片(CPU、GPU、神經網路引擎)的功耗。來源:Vše Smart,2026 年 11 月 2 日發布。
128 GB 全都放得下
6 個模型都無需提高記憶體上限即可執行。最大的 gpt-oss-120b 峰值佔用 65.5 GB,餘裕充足。得益於 mixture of experts 架構,它在 llama.cpp 中仍能每秒產生 110 個 token。
MoE 勝出,稠密模型吃力
最快的是每個 token 只動用部分參數的模型:Qwen3 30B-A3B 與 gpt-oss-20b,約每秒 155 個 token。稠密的 Llama 3.3 70B 為每秒 12.5–13.6 個 token,在 32,000 token 上下文下降到約 10,首個 token 需等待 132 秒。用大型稠密模型處理長文件,筆電已到極限。
省電且穩定
產生內容時晶片功耗為 37–50 W,閒置約 2.1 W。效率最高的是 Qwen3 30B-A3B,每瓦 3.69 個 token。連續十分鐘負載下仍維持約每秒 152 個 token,沒有降頻跡象。數據僅指晶片而非整台筆電,測試在接電源狀態下進行。
128 GB 不夠時
對於約 100 GB 以內的模型,MacBook Pro M5 Max 是出色的行動機器。更大的模型,例如需要約 133 GB 的 Qwen3 235B,根本放不下;而在 70B 級稠密模型與長上下文下它會變慢。在我們的巔峰對決中,Mac Studio M5 Ultra 在這類模型上快 2.5 到 2.8 倍。
正如原文所說,測試衡量的是速度,而不是回答品質。
需要更多?
租用 256 GB 的 Mac Studio M5 Ultra,最短一天,執行筆電放不下的模型。