VI
12 tháng 11 năm 2026 · Jakub M.
Qwen3.5 397B trên một Mac Studio M5 Ultra: 224 GB và 62 token mỗi giây
Một mô hình 397 tỷ tham số chiếm khoảng 224 GB ở mức 4 bit. Chúng tôi chạy nó trên một Mac Studio M5 Ultra 256 GB: mô hình sinh khoảng 62 token mỗi giây, xử lý được ngữ cảnh 128 nghìn token và không cần đổi thiết lập nào của macOS.
Bài kiểm tra lớn nhất của chúng tôi trước đây là Qwen3 235B, khoảng 133 GB. Lần này chúng tôi đi tới giới hạn bộ nhớ của Mac: Qwen3.5 397B-A17B là mô hình mixture-of-experts với 397 tỷ tham số, trong đó khoảng 17 tỷ hoạt động cho mỗi token. Ở định dạng MLX 4 bit, mô hình chiếm khoảng 224 GB.
Cách chúng tôi đo
- Phần cứng: Mac Studio với Apple M5 Ultra (CPU 36 lõi, GPU 80 lõi) và 256 GB bộ nhớ hợp nhất, macOS 27.2.1.
- Phần mềm: Python 3.12, MLX 0.32.4, mlx-lm 0.32.2, mô hình
mlx-community/Qwen3.5-397B-A17B-4bit. - Bài kiểm tra: công cụ tích hợp
mlx_lm.benchmark, prompt gồm token ngẫu nhiên với seed cố định và một lần chạy khởi động trước mỗi lần đo. Prompt 512 và 8.192 token, sinh 128 token (ba và hai lần), sau đó prompt dài hơn tới 131.072 token, sinh 64 token (mỗi mức một lần).
Kết quả
| Prompt (token) | Xử lý prompt (token/giây) | Sinh token (token/giây) | Bộ nhớ đỉnh |
|---|---|---|---|
| 512 | 159 | 61,6 | 224,3 GB |
| 8.192 | 1.265 | 59,9 | 226,8 GB |
| 16.384 | 1.432 | 58,3 | 227,0 GB |
| 32.768 | 1.500 | 55,1 | 227,5 GB |
| 65.536 | 1.345 | 50,3 | 228,5 GB |
| 131.072 | 1.080 | 44,1 | 230,6 GB |
Qwen3.5 397B-A17B, MLX 4 bit (mlx-community), mlx-lm 0.32.2, macOS 27.2.1, đo ngày 12 tháng 11 năm 2026. 512 và 8.192 token: sinh 128 token, trung bình 3 và 2 lần chạy; prompt dài hơn: sinh 64 token, đo một lần. Giá trị với prompt 512 token dao động giữa các lần chạy (141 đến 195 token/giây).
Không cần đổi thiết lập
Chúng tôi đã nghĩ mô hình sẽ không vừa với thiết lập mặc định. Các phiên bản macOS cũ chỉ cho GPU dùng khoảng ba phần tư bộ nhớ, tức khoảng 192 GB trên máy Mac 256 GB. Nhưng trên máy Mac của chúng tôi với macOS 27.2.1, Metal báo giới hạn khuyến nghị là 240 GB (257,7 tỷ byte), tức toàn bộ bộ nhớ trừ 16 GB. Mô hình chạy với thiết lập mặc định nhanh như khi đặt giới hạn thủ công, swap luôn dưới 45 MB và macOS báo áp lực bộ nhớ bình thường suốt quá trình. Máy Mac 256 GB thứ hai của chúng tôi cũng cho cùng giá trị 240 GB. Chúng tôi cũng đã cập nhật công cụ tính RAM theo kết quả này.
Điều này quan trọng với người thuê: họ không có quyền quản trị nên không thể tự nâng giới hạn. Trên các máy Mac này, họ không cần làm vậy.
Ngữ cảnh dài tốn rất ít bộ nhớ
Từ prompt 512 token đến prompt 131.072 token, bộ nhớ đỉnh chỉ tăng khoảng 6 GB, từ 224,3 lên 230,6 GB. Ngay cả với ngữ cảnh dài nhất, hệ thống vẫn còn trống hơn 25 GB. Tuy vậy tốc độ giảm khi ngữ cảnh dài ra: tốc độ sinh giảm từ 62 xuống 44 token mỗi giây, vẫn là nhịp đọc thoải mái.
Lớn hơn mà vẫn nhanh hơn
Trong bài kiểm tra tháng 10, Qwen3 235B sinh 46 token mỗi giây với ngữ cảnh trống và 33 token với prompt 16.384 token. Qwen3.5 397B lớn gần gấp đôi nhưng trong điều kiện tương tự vẫn sinh khoảng 62 và 58 token mỗi giây. Lý do là số tham số hoạt động trên mỗi token ít hơn: khoảng 17 tỷ thay vì 22 tỷ. Bài kiểm tra tháng 10 dùng phiên bản phần mềm cũ hơn và phương pháp hơi khác, nên phép so sánh chỉ mang tính tham khảo.
Điện năng
Trong khi kiểm tra, chip (CPU và GPU) tiêu thụ tối đa khoảng 104 W, đo bằng powermetrics theo mẫu 2 giây. Chúng tôi không đưa ra mức trung bình vì phép đo còn bao gồm thời gian nạp mô hình và tạm dừng.
Giới hạn của bài kiểm tra
Chúng tôi đo một mô hình trên một máy Mac với từng yêu cầu riêng lẻ. Prompt gồm token ngẫu nhiên chỉ cho số liệu tốc độ thuần túy; với công việc thực tế, tốc độ có thể khác. Bài kiểm tra không đo chất lượng câu trả lời, và bản 4 bit có thể trả lời kém hơn một chút so với mô hình đầy đủ.
Tự mình thử
Nếu bạn muốn chạy mô hình cỡ này mà không phải mua máy Mac hơn 12.000 €, bạn có thể thuê Mac Studio M5 Ultra 256 GB từ một ngày.