VI
26 tháng 10 năm 2026 · Jakub M.
Thử Mac Studio M5 Ultra: Qwen3 235B đạt 46 token mỗi giây và đọc prompt rất nhanh
Trang công nghệ Séc Vše Smart đã thử Mac Studio M5 Ultra 256 GB với năm mô hình ngôn ngữ trong llama.cpp và MLX. Mô hình lớn nhất, Qwen3 235B, dùng 133 GB bộ nhớ và sinh 46 token mỗi giây. Dưới đây là ý nghĩa của kết quả nếu bạn muốn chạy mô hình lớn.
Nguồn: Mac Studio M5 Ultra v testu: Qwen3 235B a rychlost čtení promptů, Ludvík Eckerman, Vše Smart, 26 tháng 10 năm 2026 (tiếng Séc). Mọi con số dưới đây đều lấy từ bài viết đó.
Trang Vše Smart của Séc đã đăng bài thử chi tiết về Mac Studio với chip M5 Ultra. Đây là đúng cấu hình chúng tôi cho thuê: GPU 80 nhân và 256 GB bộ nhớ hợp nhất. Bài thử tập trung vào hai điều mà bài đo đầu tiên của chúng tôi chưa đề cập: máy Mac đọc prompt dài nhanh đến đâu, và một mô hình quá lớn cho máy 128 GB.
Vše Smart thử như thế nào
- Phần cứng: Mac Studio M5 Ultra (GPU 80 nhân), 256 GB, macOS 27.0.1, không chạy gì khác.
- Phần mềm: llama.cpp với mọi lớp trên GPU, và MLX 0.32 với mlx-lm. Công suất và nhiệt độ được ghi bằng macmon.
- Mô hình: Qwen3 8B, Qwen3 30B-A3B, Llama 3.3 70B, gpt-oss-120b và Qwen3 235B-A22B, tất cả ở 4 bit (gpt-oss ở MXFP4). Qwen3 235B chỉ trong MLX.
- Bài thử: prompt 512, 4.096 và 16.384 token với 128 token được sinh, cộng thêm mười phút tải liên tục. Đo ngày 24 tháng 10 năm 2026.
Kết quả
| Mô hình | Bộ nhớ | Sinh, llama.cpp | Sinh, MLX | Prompt 4k, llama.cpp | Prompt 4k, MLX |
|---|---|---|---|---|---|
| Qwen3 8B | ≈ 5 GB | 149 | 176 | 4.205 | 6.360 |
| Qwen3 30B-A3B | ≈ 18 GB | 172 | 159 | 4.535 | 9.870 |
| Llama 3.3 70B | ≈ 42 GB | 23 | 25 | 509 | 716 |
| gpt-oss-120b | ≈ 63 GB | 142 | 130 | 3.387 | 6.538 |
| Qwen3 235B-A22B | ≈ 133 GB | – | 46 | – | 1.656 |
Token mỗi giây với ngữ cảnh trống: sinh 128 token và đọc một prompt 4.096 token. Qwen3 235B chỉ được thử trong MLX. Nguồn: Vše Smart, đo ngày 24 tháng 10 năm 2026.
MLX đọc prompt nhanh gấp đến hai lần
Trước khi viết từ đầu tiên, mô hình phải đọc toàn bộ prompt, ví dụ một tài liệu bạn muốn tóm tắt. Theo Vše Smart, MLX đọc prompt nhanh hơn llama.cpp 1,4 đến 2,2 lần với mọi mô hình; chênh lệch lớn nhất ở Qwen3 30B-A3B. Với gpt-oss-120b trong MLX, một tài liệu 4.000 token được đọc trong chưa đến một giây. Khi sinh văn bản, không framework nào thắng rõ, nên đáng thử cả hai với mô hình của bạn.
Ngữ cảnh dài
| Mô hình | Sinh | Đọc prompt |
|---|---|---|
| Qwen3 8B | 121 | 5.240 |
| Qwen3 30B-A3B | 115 | 6.822 |
| Llama 3.3 70B | 22 | 650 |
| gpt-oss-120b | 114 | 6.332 |
| Qwen3 235B-A22B | 33 | 1.289 |
MLX, prompt 16.384 token rồi sinh 128 token, tính bằng token mỗi giây. Nguồn: Vše Smart.
Với prompt 16.384 token, tốc độ sinh trong MLX chậm đi khoảng 12 đến 31 phần trăm, tùy mô hình.
Qwen3 235B cần hơn 128 GB
Mô hình lớn nhất dùng khoảng 133 GB bộ nhớ và sinh khoảng 46 token mỗi giây, nhanh hơn tốc độ đọc của hầu hết mọi người. Nó sẽ không vừa trên máy Mac 128 GB, và đó chính là chỗ cấu hình 256 GB tạo ra khác biệt.
Nhiệt độ, công suất và M3 Ultra
GPU nóng nhất 87 °C và chip tiêu thụ đến 215 W khi đọc prompt. Quạt tăng lên 2.265 vòng/phút, 62 phần trăm mức tối đa, và trong mười phút tải liên tục bài thử không thấy giảm xung. Trong bài thử chuẩn của llama.cpp với Llama 2 7B (Q4_0), bài viết ước tính M5 Ultra đọc prompt nhanh hơn khoảng 3,5 lần và sinh nhanh hơn khoảng hai lần so với M3 Ultra. Tác giả lưu ý số liệu M3 Ultra lấy từ bảng cộng đồng của llama.cpp, đo bằng các phiên bản cũ hơn, nên phép so sánh chỉ mang tính tương đối.
Như bài viết nêu, bài thử đo tốc độ chứ không đo chất lượng câu trả lời, chỉ dùng lượng tử hóa 4 bit và yêu cầu đơn lẻ, và báo công suất của chip chứ không phải cả hệ thống.
Tự mình thử
Bạn có thể thuê Mac Studio M5 Ultra 256 GB từ một ngày và thử mô hình của mình trên đó. Bài thử tải một giờ của chúng tôi cho thấy máy hoạt động thế nào khi chịu tải kéo dài.