VI
16 tháng 10 năm 2026 · Jakub M.
Mười lăm mô hình AI trên Mac Studio M5 Ultra: thực tế được bao nhiêu token mỗi giây
Trang công nghệ Séc Vše Smart đã chạy 32 mô hình ngôn ngữ cục bộ trên Mac Studio M5 Ultra 256 GB. Chúng tôi chọn ra mười lăm mô hình, từ Qwen3 4B nhỏ gọn đến Mistral Large 123 tỷ tham số, và xem các con số có ý nghĩa gì cho công việc hằng ngày.
Các bài so sánh tốc độ mô hình cục bộ thường dừng sau hai, ba cái tên. Nhóm Vše Smart đã đo ba mươi hai mô hình trên Mac Studio M5 Ultra với 256 GB bộ nhớ hợp nhất, mỗi mô hình mười một lần. Từ kết quả của họ, chúng tôi lấy mười lăm mô hình bao quát tốt cả lĩnh vực: nhỏ và lớn, dense và mixture of experts.
Cách đo
Các mô hình chạy trong Ollama, điều khiển bằng một script Python đơn giản. Mỗi mô hình nhận cùng một nhiệm vụ, viết một văn bản kỹ thuật dài về cách chế tạo ô tô hiện đại, với giới hạn 2.000 token đầu ra, nhiệt độ 0 và ngữ cảnh 8.192 token. Lần chạy đầu của mỗi mô hình bị loại để khởi động, kết quả là trung bình của mười lần tiếp theo. Giữa các mô hình nghỉ 30 giây.
Toàn bộ bài thử kéo dài hơn bốn giờ, các mô hình sinh tổng cộng hơn 700.000 token. Chỉ đo tốc độ; bài thử không đánh giá chất lượng câu trả lời.
Kết quả
| Mô hình | Loại | Tốc độ sinh |
|---|---|---|
| Qwen3 4B | dense | |
| Qwen3 30B-A3B | MoE, 3B hoạt động | |
| gpt-oss-20b | MoE, 3,6B hoạt động | |
| Qwen3.5 35B-A3B | MoE, 3B hoạt động | |
| Qwen3.5 9B | dense | |
| gpt-oss-120b | MoE, 5,1B hoạt động | |
| Gemma 4 26B-A4B | MoE, 4B hoạt động | |
| Qwen3-Next 80B-A3B | MoE, 3B hoạt động | |
| Qwen3.5 122B-A10B | MoE, 10B hoạt động | |
| Llama 4 Scout | MoE, 17B hoạt động | |
| Mistral Small 3.2 24B | dense | |
| Qwen3.5 27B | dense | |
| Gemma 4 31B | dense | |
| Llama 3.3 70B | dense | |
| Mistral Large 123B | dense |
Trung bình mười lần chạy trong Ollama, 2.000 token đầu ra, ngữ cảnh 8k. MoE = mixture of experts; “hoạt động” là số tham số được dùng cho mỗi token. Dữ liệu: Vše Smart. Kết quả từ Ollama không so sánh trực tiếp được với số đo MLX của chúng tôi. Đây là kết quả đo trong các điều kiện đã nêu, không phải cam kết: tốc độ thực tế phụ thuộc vào mô hình, lượng tử hóa, độ dài ngữ cảnh, cấu hình phần mềm và khối lượng công việc.
Kích thước nói lên rất ít về tốc độ
Ví dụ rõ nhất là gpt-oss-120b so với Llama 3.3 70B. Mô hình của OpenAI có nhiều tham số hơn (117 tỷ so với 70) nhưng viết nhanh gấp năm lần: 115 token mỗi giây so với 23. Khác biệt nằm ở kiến trúc. gpt-oss-120b là mô hình mixture of experts và mỗi token chỉ dùng khoảng năm tỷ tham số. Llama 3.3 là mô hình dense và lần nào cũng xử lý cả bảy mươi tỷ.
Qwen cho thấy điều tương tự. Bản 122B-A10B với mười tỷ tham số hoạt động đạt 85 token mỗi giây, bản dense Qwen3.5 27B, nhỏ bằng một phần tư, đạt 48. Nếu bạn quan tâm tốc độ, số tham số hoạt động thường nói lên nhiều hơn tổng kích thước, dù kiến trúc, lượng tử hóa và phần mềm cũng có vai trò.
Nhanh bao nhiêu là đủ
Với chat thông thường, khoảng 20 token mỗi giây thường đã thấy mượt. Trong mười lăm mô hình ở bảng, chỉ Mistral Large với 14 token mỗi giây là thấp hơn. Nó vẫn hữu ích cho những việc không ai ngồi chờ, như xử lý tài liệu qua đêm.
Tốc độ quan trọng hơn nhiều khi trợ lý lập trình viết những khối mã dài. Khi đó nên dùng mô hình trên 80 token mỗi giây, ví dụ gpt-oss-120b, Qwen3-Next 80B hoặc Qwen3.5 122B.
Khớp với số đo của chúng tôi
Chúng tôi đã đo một số mô hình giống vậy trên Mac Studio của mình, dùng MLX thay cho Ollama và phương pháp hơi khác. Các con số chênh vài đến vài chục phần trăm, nhưng bức tranh chung không đổi. gpt-oss-120b ở chỗ chúng tôi đạt 120 token mỗi giây (Vše Smart: 115), gpt-oss-20b 184 (169) và Qwen3.5 27B 55 (48). Gemma 4 31B ở chỗ chúng tôi chậm hơn, 31 so với 40, vì chúng tôi dùng một phiên bản mô hình khác. Chi tiết có trong bài đo hiệu năng của chúng tôi.
Tự mình thử
Cả ba mươi hai mô hình đều vừa thoải mái trong 256 GB bộ nhớ. Nếu bạn đang cân nhắc mua một chiếc máy như vậy hoặc chỉ cần sức mạnh đó trong vài ngày, bạn có thể thuê Mac Studio M5 Ultra 256 GB của chúng tôi.
Nguồn dữ liệu: Vše Smart: thử Mac Studio M5 Ultra với 32 mô hình AI cục bộ (Ludvík Eckerman, 5 tháng 10 năm 2026, tiếng Séc).