VI
15 tháng 10 năm 2026 · Jakub M.
Mac Studio M5 Ultra 256 GB và AI cục bộ: chúng tôi đã đo sáu mô hình
Mac Studio M5 Ultra với 256 GB bộ nhớ hợp nhất thực sự cho bao nhiêu token mỗi giây? Chúng tôi chạy sáu mô hình mở phổ biến từ 9 đến 120 tỷ tham số, với ngữ cảnh trống và dài, đồng thời ghi lại mức dùng bộ nhớ.
Các bài đo Apple Silicon cho mô hình ngôn ngữ cục bộ thường chỉ đưa một con số cho một mô hình mà không nói cách đo. Chúng tôi muốn số liệu đầy đủ và lặp lại được, nên đã đo mọi mô hình theo cùng một cách và ghi lại phương pháp.
Đo trên máy nào và đo thế nào
- Phần cứng: Mac Studio với Apple M5 Ultra, 256 GB bộ nhớ hợp nhất và SSD 4 TB. Đây đúng là chiếc máy chúng tôi cho thuê.
- Phần mềm: macOS 27.0.1, Python 3.12 và mlx-lm 0.32, xây dựng trên framework MLX của Apple.
- Mô hình: các bản chuyển đổi MLX của tổ chức mlx-community trên Hugging Face, lượng tử hóa 4 bit. Các mô hình gpt-oss dùng MXFP4 cho trọng số chuyên gia (biến thể “MXFP4-Q8”), Gemma 4 31B là bản QAT 4 bit.
- Bài thử: 512 token prompt rồi sinh 128 token, với 0, 8.192 và 32.768 token đã có trong ngữ cảnh. Các lần chạy ngữ cảnh trống được làm hai lần và lấy trung bình, ngữ cảnh dài hơn chạy một lần. Prompt gồm các token ngẫu nhiên. Với prompt thật và câu trả lời dài hơn, tốc độ có thể khác.
- Bộ nhớ: giá trị đỉnh MLX báo cáo trong lúc thử, gồm trọng số mô hình và bộ nhớ đệm ngữ cảnh.
Kết quả
| Mô hình | Loại | Kích thước | Sinh, trống | Sinh, 8k | Sinh, 32k | Bộ nhớ, trống | Bộ nhớ, 32k |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | dense | 6,0 GB | 167 | 161 | 141 | 5,5 GB | 7,4 GB |
| gpt-oss-20b | MoE | 12,1 GB | 184 | 172 | 145 | 11,7 GB | 12,8 GB |
| Qwen3.5 27B | dense | 16,1 GB | 55 | 53 | 48 | 15,3 GB | 18,8 GB |
| Gemma 4 31B | dense | 28,8 GB | 31 | 27 | 21 | 26,6 GB | 31,5 GB |
| Qwen3.5 35B-A3B | MoE | 20,4 GB | 162 | 154 | 141 | 18,8 GB | 20,6 GB |
| gpt-oss-120b | MoE | 63,4 GB | 120 | 113 | 96 | 59,5 GB | 61,0 GB |
Tốc độ sinh văn bản tính bằng token mỗi giây. “Trống”, “8k” và “32k” là số token đã có sẵn trong ngữ cảnh. Bộ nhớ là giá trị đỉnh do MLX báo cáo. Đây là kết quả đo trong các điều kiện đã nêu, không phải cam kết: tốc độ thực tế phụ thuộc vào mô hình, lượng tử hóa, độ dài ngữ cảnh, cấu hình phần mềm và khối lượng công việc.
Các con số nói gì
Mô hình mixture of experts nhanh hơn nhiều
Mô hình nhanh nhất trong bài thử không phải là mô hình nhỏ nhất. gpt-oss-20b sinh 184 token mỗi giây, và ngay cả gpt-oss-120b cũng đạt 120. Cả hai đều là mô hình mixture of experts (MoE): mỗi token chỉ dùng một phần nhỏ tham số, theo OpenAI khoảng 3,6 tỷ ở gpt-oss-20b và 5,1 tỷ ở gpt-oss-120b. Qwen3.5 35B-A3B hoạt động tương tự với khoảng 3 tỷ tham số hoạt động và đạt 162 token mỗi giây.
Mô hình dense dùng toàn bộ tham số cho mỗi token nên chậm hơn: Qwen3.5 27B sinh 55 token mỗi giây, Gemma 4 31B 31. Ngay cả mô hình chậm nhất trong bài thử, với 31 token mỗi giây, vẫn viết nhanh hơn tốc độ đọc của hầu hết mọi người.
Ngữ cảnh dài tốn 12 đến 32 phần trăm
Với 32.768 token đã có trong ngữ cảnh, tốc độ sinh ở hầu hết mô hình chậm đi 12 đến 21 phần trăm. Gemma 4 31B mất nhiều nhất, từ 31 xuống 21 token mỗi giây, khoảng một phần ba. Nếu bạn làm việc với tài liệu dài hoặc mã nguồn lớn, đây là cột cần xem.
256 GB còn rất nhiều chỗ
Mô hình lớn nhất được thử, gpt-oss-120b, cần 61 GB với ngữ cảnh 32k, chưa đến một phần tư bộ nhớ. Theo tính toán của chúng tôi, phần còn lại đủ cho những mô hình lớn hơn nhiều, ví dụ Qwen3.5 122B-A10B (khoảng 70 GB ở 4 bit) hay thậm chí Qwen3.5 397B-A17B, với các tệp 4 bit chiếm 224 GB. Những mô hình này chúng tôi chưa thử, và ngữ cảnh cùng hệ thống cũng cần bộ nhớ. Ngoài ra có thể chạy nhiều mô hình song song, ví dụ một mô hình lớn để trả lời và một mô hình nhỏ để định tuyến nhanh hoặc tạo embedding.
Những gì chúng tôi chưa đo
- Tốc độ xử lý prompt. Bài thử ngắn với 512 token cho kết quả dao động, khoảng 500 đến 5.000 token mỗi giây tùy mô hình. Đủ để nói rằng đọc prompt nhanh hơn sinh văn bản nhiều lần, nhưng chưa đủ để đưa con số chính xác. Chúng tôi sẽ bổ sung một bài đo dài hơn.
- Môi trường chạy khác. Chúng tôi chỉ dùng MLX. llama.cpp, Ollama hay mô hình GGUF trong LM Studio có thể cho kết quả khác.
- Chất lượng câu trả lời, công suất và các mô hình lớn nhất (122B và 397B). Đó là những mục tiếp theo trong danh sách của chúng tôi.
Thử với công việc của bạn
Số liệu từ bài thử của người khác không bao giờ trả lời trọn vẹn liệu một chiếc máy có hợp với công việc của bạn. Vì vậy chúng tôi cho thuê chính chiếc Mac Studio này, từ một ngày, qua SSH hoặc màn hình từ xa. Nếu đang cân nhắc mua, bạn có thể thử mô hình và dữ liệu của mình trên đó trước.