VI
11 tháng 11 năm 2026 · Jakub M.
Hai Mac Studio M5 Ultra giống hệt nhau: tốc độ AI cục bộ có khác không?
Chúng tôi có hai Mac Studio với M5 Ultra và 256 GB bộ nhớ hợp nhất: một chiếc chạy từ tháng 10, chiếc kia mới hoàn toàn. Chúng tôi chạy cùng một bài kiểm tra với ba mô hình ngôn ngữ trên cả hai. Tốc độ sinh token chênh nhau chưa tới nửa phần trăm.
Hai máy tính cùng mẫu và cùng cấu hình lẽ ra phải nhanh như nhau. Tuy vậy, đôi khi vẫn có ý kiến về sự khác biệt giữa từng chiếc, nên chúng tôi muốn biết với AI cục bộ thì mức chênh lệch là bao nhiêu. Với chúng tôi đây là câu hỏi thực tế: khách hàng thuê một cấu hình và phải nhận được hiệu năng như nhau, dù được giao chiếc máy nào.
Đo trên máy nào và đo như thế nào
- Phần cứng: hai Mac Studio với Apple M5 Ultra (CPU 36 lõi, GPU 80 lõi) và 256 GB bộ nhớ hợp nhất. Một chiếc dùng từ tháng 10, chiếc kia là máy mới.
- Phần mềm: giống hệt nhau trên cả hai: macOS 27.2.1, Python 3.12, MLX 0.32.4 và mlx-lm 0.32.2.
- Mô hình: phiên bản MLX 4 bit của tổ chức mlx-community trên Hugging Face: Qwen3 30B-A3B, Llama 3.3 70B Instruct và gpt-oss-120b (MXFP4-Q8).
- Bài kiểm tra: công cụ tích hợp
mlx_lm.benchmarkvới prompt ngắn (512 token, ba lần) và prompt dài (8.192 token, hai lần), mỗi lần sinh 128 token. Prompt gồm các token ngẫu nhiên với seed cố định, nên hai máy Mac nhận được đầu vào giống hệt nhau. Mỗi lần đo đều bắt đầu bằng một lần chạy khởi động, và cả hai máy được đo trong cùng một ngày.
Kết quả
| Mô hình | Prompt (token) | Xử lý prompt, Mac cũ hơn | Xử lý prompt, Mac mới | Sinh token, Mac cũ hơn | Sinh token, Mac mới | Bộ nhớ đỉnh |
|---|---|---|---|---|---|---|
| Qwen3 30B-A3B | 512 | 2.285 | 2.237 | 162,2 | 162,2 | 17,8 GB |
| Qwen3 30B-A3B | 8.192 | 7.646 | 7.602 | 138,1 | 138,0 | 18,7 GB |
| Llama 3.3 70B | 512 | 469 | 467 | 25,2 | 25,3 | 40,3 GB |
| Llama 3.3 70B | 8.192 | 682 | 683 | 23,6 | 23,6 | 43,3 GB |
| gpt-oss-120b | 512 | 1.077 | 1.046 | 121,4 | 121,2 | 63,8 GB |
| gpt-oss-120b | 8.192 | 5.143 | 5.109 | 114,8 | 115,2 | 64,5 GB |
Xử lý prompt và sinh token tính bằng token mỗi giây, trung bình các lần chạy (ba lần với 512 token, hai lần với 8.192), sinh 128 token. Mac cũ hơn: dùng từ tháng 10; Mac mới: hoàn toàn mới. Cùng cấu hình, mô hình MLX 4 bit, mlx-lm 0.32.2, macOS 27.2.1, đo ngày 11 tháng 11 năm 2026.
Các con số cho thấy gì
Tốc độ sinh token, tức là mô hình viết câu trả lời nhanh đến đâu, giống nhau trên hai máy Mac: với cả ba mô hình và hai độ dài prompt, chênh lệch tối đa chỉ 0,35%. Tốc độ xử lý prompt dài chênh tối đa 0,7%. Mức bộ nhớ đỉnh trùng nhau đến một phần mười gigabyte.
Với prompt ngắn, máy Mac mới xử lý chậm hơn 2–3%. Tuy nhiên lần chạy này chỉ mất 0,2–0,5 giây, và các lần lặp lại trên cùng một máy Mac cũng chênh nhau tới 3%. Vì vậy chúng tôi không coi mức chênh này là thật.
Kết quả cũng khớp với lần đo vào tháng 10 của chúng tôi: khi đó gpt-oss-120b sinh 120 token mỗi giây, nay là 121.
Giới hạn của bài kiểm tra
Chúng tôi chỉ so sánh hai chiếc máy, nên kết quả không đại diện cho mọi Mac Studio M5 Ultra. Prompt gồm token ngẫu nhiên và lượt sinh ngắn chỉ cho ra số liệu tốc độ thuần túy; với công việc thực tế và câu trả lời dài hơn, tốc độ có thể khác. Bài kiểm tra không đo chất lượng câu trả lời.
Tự mình thử
Công cụ tính RAM của chúng tôi cho biết mô hình bạn muốn dùng cần bao nhiêu bộ nhớ. Để tự kiểm tra, bạn có thể thuê Mac Studio M5 Ultra 256 GB từ một ngày.