VI
22 tháng 10 năm 2026 · Jakub M.
Một giờ chạy hết công suất trên Mac Studio M5 Ultra: một triệu token tốn bao nhiêu
Chúng tôi cho Mac Studio sinh văn bản suốt một giờ với mười sáu mô hình AI cùng lúc, ghi lại tốc độ, công suất và nhiệt độ mỗi mười giây. Máy sinh 980.000 token mà không chậm lại, và một triệu token tốn 0,074 kWh điện.
Chạy AI cục bộ thực sự tốn bao nhiêu? Trên Mac Studio M5 Ultra 256 GB của chúng tôi, đúng chiếc máy chúng tôi cho thuê, chúng tôi chạy bài thử một giờ và ghi lại tốc độ, công suất và nhiệt độ của chip mỗi mười giây.
Cách chúng tôi đo
- Phần cứng: Mac Studio với Apple M5 Ultra (CPU 36 nhân, GPU 80 nhân), 256 GB bộ nhớ hợp nhất, macOS 27.0.1. Trong lúc thử, máy không chạy gì khác.
- Mô hình: gpt-oss-20b của OpenAI, phiên bản MXFP4-Q8 cho MLX của Apple (MLX 0.32.4, mlx-lm 0.32.2). Đây là mô hình mixture of experts với 21 tỷ tham số, mỗi token dùng khoảng 3,6 tỷ. Mô hình chiếm khoảng 12 GB bộ nhớ.
- Tải: mười sáu chương trình riêng biệt cùng sinh văn bản trong 60 phút, mỗi chương trình có bản sao mô hình riêng. Điều này mô phỏng mười sáu người dùng hoặc tác tử AI. Mỗi lượt sinh giới hạn 2.000 token rồi bắt đầu lại với cùng nhiệm vụ: một bài kỹ thuật dài về cách động cơ ô tô hoạt động.
- Đo lường: mỗi 10 giây chúng tôi ghi số token đã sinh, công suất chip và nhiệt độ trung bình của CPU và GPU, đọc từ macOS bằng macmon 0.10.0. Điện năng là công suất trung bình nhân với thời gian.
Kết quả
| Kết quả | |
|---|---|
| Thời gian thử | 60 phút |
| Luồng song song | 16 |
| Đã sinh | 980.000 token |
| Tốc độ | 273 token mỗi giây |
| Tốc độ, phần sáu đầu / cuối | 272 / 272 tok/s |
| Công suất chip, trung bình (tối đa) | 73 W (76 W) |
| Nhiệt độ CPU / GPU khi ổn định | 63 / 66 °C |
| Nhiệt độ CPU / GPU cao nhất | 66 / 70 °C |
| Điện năng cho một triệu token | 0,074 kWh |
Giới hạn là tốc độ bộ nhớ, không phải sức tính toán
Khi sinh văn bản, máy Mac bị kìm bởi băng thông bộ nhớ chứ không phải sức tính toán. Với mỗi token, GPU phải đọc phần tương ứng của mô hình từ bộ nhớ và dành phần lớn thời gian chờ dữ liệu. Vì vậy ngay cả với mười sáu luồng, chip chỉ tiêu thụ 73 W.
Mười sáu chương trình dùng chung GPU, mỗi chương trình đọc bản sao mô hình của riêng mình. Cùng nhau chúng sinh 273 token mỗi giây, khoảng 17 cho mỗi luồng. Với một người đang chat thì chậm, nhưng với một nhóm tác tử chạy nền thì đủ. Máy chủ suy luận làm khác: chúng gộp yêu cầu của nhiều người dùng thành lô và đọc mô hình một lần cho tất cả, nhờ đó cùng chiếc Mac cho nhiều token mỗi giây hơn. Điều này chúng tôi chưa đo trong bài thử này.
Nhiệt độ và độ ổn định
Nhiệt độ GPU tăng lên 70 °C ở phút thứ tư, sau đó giảm và giữ ở 66 °C từ phút thứ năm. CPU ổn định ở 63 °C. Quạt theo kịp mà chip không phải giảm xung: cả ở phần sáu đầu và phần sáu cuối của bài thử, máy Mac đều sinh 272 token mỗi giây.
Tiền điện bao nhiêu
Một giờ chạy hết công suất tiêu thụ 0,073 kWh. Cả ngày ở chế độ này cần khoảng 1,75 kWh, và một triệu token cần 0,074 kWh. Với giá 0,25 € mỗi kWh, đó là chưa đến 2 cent cho một triệu token và khoảng 44 cent mỗi ngày. Với AI cục bộ, tiền điện gần như không đáng kể; yếu tố quyết định là giá máy tính.
Những gì bài thử không cho thấy
- Công suất của cả máy tính. Chúng tôi chỉ đo chip (CPU, GPU và Neural Engine). Quạt, SSD, mạng và hao hụt của bộ nguồn không được tính, nên mức tiêu thụ ở ổ cắm sẽ cao hơn một chút.
- Xử lý theo lô. Mười sáu chương trình riêng biệt không giống một máy chủ phục vụ nhiều người dùng theo lô.
- Mô hình lớn. gpt-oss-20b nhỏ và nhanh. Một mô hình dense 70 tỷ tham số sẽ tải máy Mac theo cách khác và tiêu thụ điện khác.
- Chất lượng đầu ra. Chúng tôi chỉ đo tốc độ và công suất, không đánh giá mô hình đã viết gì.
Đây là kết quả đo trong các điều kiện đã nêu, không phải cam kết: tốc độ và mức tiêu thụ thực tế phụ thuộc vào mô hình, lượng tử hóa, độ dài ngữ cảnh, phần mềm và khối lượng công việc.
Tự mình thử
Nếu bạn muốn xem mô hình của mình hoạt động thế nào khi chịu tải, bạn có thể thuê chiếc Mac Studio M5 Ultra 256 GB này từ một ngày. Thêm số đo có trong bài đo sáu mô hình của chúng tôi.