VI
3 tháng 11 năm 2026 · Jakub M.
MacBook Pro M5 Max 128 GB: laptop đi được bao xa với AI cục bộ
Vše Smart chạy sáu mô hình mở từ 8 đến 120 tỷ tham số trên MacBook Pro M5 Max 128 GB. Tất cả đều vừa mà không cần chỉnh hệ thống, gpt-oss-120b sinh 110 token mỗi giây và chip chỉ tiêu thụ 37–50 W. Laptop bắt đầu hụt hơi với ngữ cảnh dài và các mô hình dense lớn.
Nguồn: MacBook Pro M5 Max se 128 GB RAM v testu lokálních AI modelů, Ludvík Eckerman, Vše Smart, 2 tháng 11 năm 2026 (tiếng Séc). Mọi con số dưới đây đều lấy từ bài viết đó.
Laptop có xử lý được AI cục bộ một cách nghiêm túc không? Trang Vše Smart của Séc đã thử chiếc MacBook Pro mạnh nhất với chip M5 Max (CPU 18 nhân, GPU 40 nhân) và 128 GB bộ nhớ hợp nhất, băng thông 614 GB/s. Sáu mô hình mở, hai công cụ suy luận và cả mức tiêu thụ điện.
Cách thử nghiệm
- Hệ thống: macOS 27.2, chế độ Năng lượng cao, cắm sạc, giới hạn bộ nhớ GPU mặc định (khoảng 107 GB).
- Phần mềm: llama.cpp (build 11669, Metal) và MLX 0.32.4 với mlx-lm 0.32.2.
- Mô hình: Llama 3.1 8B, gpt-oss-20b, Qwen3 30B-A3B, Qwen3 32B, Llama 3.3 70B và gpt-oss-120b, lượng tử hóa 4 bit (gpt-oss ở định dạng MXFP4 gốc).
- Phương pháp: ngữ cảnh từ 0 đến 32.768 token, mỗi mức ba lần chạy; công suất chip đo bằng powermetrics; tải liên tục mười phút với Qwen3 30B-A3B.
Kết quả
| Mô hình | Sinh, llama.cpp | Sinh, MLX | Sinh với ngữ cảnh 32k (MLX) | Token đầu tiên ở 32k (MLX) | Bộ nhớ đỉnh (MLX) | Công suất chip | Token mỗi watt |
|---|---|---|---|---|---|---|---|
| Llama 3.1 8B | 102 | 115 | 60 | 17 giây | 9,5 GB | 49,8 W | 2,02 |
| gpt-oss-20b | 156 | 142 | 105 | 7,5 giây | 13,7 GB | 48,5 W | 3,24 |
| Qwen3 30B-A3B | 155 | 152 | 72 | 15 giây | 21,1 GB | 41,1 W | 3,69 |
| Qwen3 32B | 26 | 28 | 18 | 72 giây | 27,8 GB | 48,3 W | 0,53 |
| Llama 3.3 70B | 12,5 | 13,6 | 10 | 132 giây | 51,3 GB | 40,5 W | 0,31 |
| gpt-oss-120b | 110 | 94 | 70 | 13,5 giây | 65,5 GB | 37,3 W | 2,92 |
Sinh văn bản tính bằng token mỗi giây, mô hình 4 bit (gpt-oss ở MXFP4), ngữ cảnh trống trừ khi ghi khác. Công suất chip khi sinh văn bản trong llama.cpp, chỉ tính chip (CPU, GPU, Neural Engine). Nguồn: Vše Smart, đăng ngày 2 tháng 11 năm 2026.
128 GB chứa được tất cả
Cả sáu mô hình đều chạy mà không cần nâng giới hạn bộ nhớ. Mô hình lớn nhất, gpt-oss-120b, dùng tối đa 65,5 GB, còn dư nhiều. Nhờ kiến trúc mixture of experts, nó vẫn sinh 110 token mỗi giây trong llama.cpp.
Mixture of experts thắng, mô hình dense vất vả
Nhanh nhất là các mô hình chỉ dùng một phần tham số cho mỗi token: Qwen3 30B-A3B và gpt-oss-20b với khoảng 155 token mỗi giây. Mô hình dense Llama 3.3 70B đạt 12,5–13,6 token mỗi giây; với ngữ cảnh 32.000 token, tốc độ giảm còn khoảng 10 và phải chờ 132 giây mới có token đầu tiên. Với tài liệu dài và mô hình dense lớn, laptop đã chạm giới hạn.
Tiết kiệm và ổn định
Khi sinh văn bản, chip tiêu thụ 37–50 W, lúc nghỉ khoảng 2,1 W. Tiết kiệm nhất là Qwen3 30B-A3B với 3,69 token mỗi watt. Trong mười phút tải liên tục, nó giữ khoảng 152 token mỗi giây mà không có dấu hiệu giảm xung. Số liệu chỉ tính chip, không phải cả laptop, và bài thử được thực hiện khi cắm sạc.
Khi 128 GB không đủ
MacBook Pro M5 Max là một cỗ máy di động tuyệt vời cho các mô hình đến khoảng 100 GB. Các mô hình lớn hơn, như Qwen3 235B cần khoảng 133 GB, hoàn toàn không vừa, và với mô hình dense cỡ 70B cùng ngữ cảnh dài thì máy trở nên chậm. Trong cuộc đối đầu của những gã khổng lồ của chúng tôi, Mac Studio M5 Ultra nhanh hơn 2,5 đến 2,8 lần với các mô hình này.
Như bài viết lưu ý, bài thử đo tốc độ chứ không đánh giá chất lượng câu trả lời.
Cần nhiều hơn?
Thuê Mac Studio M5 Ultra 256 GB từ một ngày và chạy những mô hình không vừa trong laptop.