ID
22 Oktober 2026 · Jakub M.
Satu jam beban penuh di Mac Studio M5 Ultra: berapa biaya sejuta token
Kami membuat Mac Studio kami menghasilkan teks dengan enam belas model AI sekaligus selama satu jam penuh dan mencatat kecepatan, daya, dan suhu setiap sepuluh detik. Mac ini menghasilkan 980.000 token tanpa melambat, dan sejuta token menghabiskan listrik 0,074 kWh.
Berapa sebenarnya biaya menjalankan AI secara lokal? Kami menjalankan uji selama satu jam di Mac Studio kami dengan M5 Ultra dan memori 256 GB, mesin yang sama dengan yang kami sewakan, dan mencatat kecepatan, daya chip, dan suhu chip setiap sepuluh detik.
Cara kami mengukur
- Perangkat keras: Mac Studio dengan Apple M5 Ultra (CPU 36 inti, GPU 80 inti), memori terpadu 256 GB, macOS 27.0.1. Tidak ada program lain yang berjalan di mesin selama uji.
- Model: gpt-oss-20b dari OpenAI dalam versi MXFP4-Q8 untuk MLX dari Apple (MLX 0.32.4, mlx-lm 0.32.2). Ini model mixture-of-experts dengan 21 miliar parameter, yang sekitar 3,6 miliar di antaranya dipakai untuk setiap token. Model ini memakan sekitar 12 GB memori.
- Beban: enam belas program terpisah menghasilkan teks secara bersamaan selama 60 menit, masing-masing dengan salinan modelnya sendiri. Ini menyimulasikan enam belas pengguna atau agen AI. Setiap generasi dibatasi 2.000 token lalu dimulai lagi dengan tugas yang sama, yaitu artikel teknis panjang tentang cara kerja mesin mobil.
- Pengukuran: setiap 10 detik kami mencatat jumlah token yang dihasilkan, daya chip, dan suhu rata-rata CPU dan GPU, yang dibaca dari macOS dengan macmon 0.10.0. Energi adalah daya rata-rata dikalikan waktu.
Hasil
| Hasil | |
|---|---|
| Durasi uji | 60 menit |
| Aliran paralel | 16 |
| Dihasilkan | 980.000 token |
| Kecepatan | 273 token per detik |
| Kecepatan, seperenam pertama / terakhir | 272 / 272 tok/s |
| Daya chip, rata-rata (maks.) | 73 W (76 W) |
| Suhu CPU / GPU setelah stabil | 63 / 66 °C |
| Suhu CPU / GPU tertinggi | 66 / 70 °C |
| Energi per sejuta token | 0,074 kWh |
Batasnya kecepatan memori, bukan daya komputasi
Saat menghasilkan teks, Mac tertahan oleh bandwidth memori, bukan oleh daya komputasi. Untuk setiap token, GPU harus membaca bagian model yang relevan dari memori dan menghabiskan sebagian besar waktunya menunggu data. Karena itulah chip hanya menarik 73 W bahkan dengan enam belas aliran.
Enam belas program berbagi GPU dan masing-masing membaca salinan modelnya sendiri. Bersama-sama mereka menghasilkan 273 token per detik, sekitar 17 per aliran. Itu lambat untuk satu orang yang mengobrol, tetapi cukup untuk sekelompok agen yang bekerja di latar belakang. Server inferensi menanganinya secara berbeda: mereka memproses permintaan banyak pengguna dalam satu batch dan membaca model sekali untuk semuanya, sehingga mendapat lebih banyak token per detik dari Mac yang sama. Itu tidak kami ukur dalam uji ini.
Suhu dan stabilitas
Suhu GPU naik ke 70 °C pada menit keempat, lalu turun dan bertahan di 66 °C sejak menit kelima. CPU stabil di 63 °C. Kipas mampu mengimbangi tanpa chip perlu melambat: baik di seperenam pertama maupun terakhir uji, Mac menghasilkan 272 token per detik.
Berapa biaya listriknya
Satu jam beban penuh memakai 0,073 kWh. Berjalan seperti ini sepanjang hari akan memakai sekitar 1,75 kWh, dan sejuta token butuh 0,074 kWh. Dengan harga €0,25 per kWh, itu kurang dari 2 sen per sejuta token dan sekitar 44 sen per hari. Untuk AI lokal, listrik hampir tidak berpengaruh; yang menentukan adalah harga komputernya.
Yang tidak ditunjukkan uji ini
- Daya seluruh komputer. Kami hanya mengukur chip (CPU, GPU, dan Neural Engine). Kipas, SSD, jaringan, dan kehilangan daya catu daya tidak termasuk, jadi konsumsi di stopkontak sedikit lebih tinggi.
- Penyajian dalam batch. Enam belas program terpisah tidak sama dengan server yang melayani banyak pengguna dalam satu batch.
- Model besar. gpt-oss-20b kecil dan cepat. Model dense dengan 70 miliar parameter akan membebani Mac dan menarik daya secara berbeda.
- Kualitas keluaran. Kami hanya mengukur kecepatan dan daya, bukan apa yang ditulis model.
Ini hasil pengukuran dalam kondisi di atas, bukan jaminan: kecepatan dan daya sebenarnya bergantung pada model, kuantisasi, panjang konteks, perangkat lunak, dan beban kerja.
Coba sendiri
Jika Anda ingin melihat bagaimana model Anda sendiri berperilaku di bawah beban, Anda bisa menyewa Mac Studio M5 Ultra 256 GB ini mulai satu hari. Pengukuran lainnya ada di benchmark enam model kami.