ID
3 November 2026 · Jakub M.
MacBook Pro M5 Max 128 GB: seberapa jauh laptop bisa menjalankan AI lokal
Vše Smart menjalankan enam model terbuka berukuran 8 hingga 120 miliar parameter di MacBook Pro M5 Max 128 GB. Semuanya muat tanpa mengubah sistem, gpt-oss-120b menghasilkan 110 token per detik, dan chipnya hanya menarik 37–50 W. Laptop mulai kehabisan napas pada konteks panjang dan model dense besar.
Sumber: MacBook Pro M5 Max se 128 GB RAM v testu lokálních AI modelů, Ludvík Eckerman, Vše Smart, 2 November 2026 (dalam bahasa Ceko). Semua angka di bawah berasal dari artikel tersebut.
Bisakah laptop menangani AI lokal secara serius? Situs Ceko Vše Smart menguji MacBook Pro terkuat dengan chip M5 Max (CPU 18 inti, GPU 40 inti) dan memori terpadu 128 GB dengan bandwidth 614 GB/s. Enam model terbuka, dua mesin inferensi, dan pengukuran daya.
Cara pengujian
- Sistem: macOS 27.2, mode Daya Tinggi, tersambung ke listrik, batas memori GPU bawaan (sekitar 107 GB).
- Perangkat lunak: llama.cpp (build 11669, Metal) serta MLX 0.32.4 dengan mlx-lm 0.32.2.
- Model: Llama 3.1 8B, gpt-oss-20b, Qwen3 30B-A3B, Qwen3 32B, Llama 3.3 70B, dan gpt-oss-120b dalam kuantisasi 4-bit (gpt-oss dalam MXFP4 bawaannya).
- Metode: konteks 0 hingga 32.768 token, masing-masing tiga kali; daya chip diukur dengan powermetrics; beban terus-menerus sepuluh menit dengan Qwen3 30B-A3B.
Hasil
| Model | Generasi, llama.cpp | Generasi, MLX | Generasi pada konteks 32k (MLX) | Token pertama pada 32k (MLX) | Puncak memori (MLX) | Daya chip | Token per watt |
|---|---|---|---|---|---|---|---|
| Llama 3.1 8B | 102 | 115 | 60 | 17 dtk | 9,5 GB | 49,8 W | 2,02 |
| gpt-oss-20b | 156 | 142 | 105 | 7,5 dtk | 13,7 GB | 48,5 W | 3,24 |
| Qwen3 30B-A3B | 155 | 152 | 72 | 15 dtk | 21,1 GB | 41,1 W | 3,69 |
| Qwen3 32B | 26 | 28 | 18 | 72 dtk | 27,8 GB | 48,3 W | 0,53 |
| Llama 3.3 70B | 12,5 | 13,6 | 10 | 132 dtk | 51,3 GB | 40,5 W | 0,31 |
| gpt-oss-120b | 110 | 94 | 70 | 13,5 dtk | 65,5 GB | 37,3 W | 2,92 |
Generasi dalam token per detik, model 4-bit (gpt-oss dalam MXFP4), dengan konteks kosong kecuali disebutkan lain. Daya chip saat generasi di llama.cpp, hanya chip (CPU, GPU, Neural Engine). Sumber: Vše Smart, terbit 2 November 2026.
Semua muat di 128 GB
Keenam model berjalan tanpa menaikkan batas memori. Yang terbesar, gpt-oss-120b, memakai paling banyak 65,5 GB, jadi masih banyak ruang. Berkat arsitektur mixture of experts, model ini tetap menghasilkan 110 token per detik di llama.cpp.
Mixture of experts menang, model dense kepayahan
Yang tercepat adalah model yang hanya memakai sebagian parameternya per token: Qwen3 30B-A3B dan gpt-oss-20b dengan sekitar 155 token per detik. Llama 3.3 70B yang dense mencapai 12,5–13,6 token per detik; dengan konteks 32.000 token turun ke sekitar 10, dan token pertama baru muncul setelah 132 detik. Untuk dokumen panjang dengan model dense besar, laptop ada di batasnya.
Hemat dan stabil
Saat menghasilkan teks, chip menarik 37–50 W dan sekitar 2,1 W saat diam. Yang paling efisien adalah Qwen3 30B-A3B dengan 3,69 token per watt. Selama sepuluh menit beban terus-menerus kecepatannya tetap sekitar 152 token per detik tanpa tanda throttling. Angka ini hanya untuk chip, bukan seluruh laptop, dan pengujian dilakukan saat tersambung ke listrik.
Saat 128 GB tidak cukup
MacBook Pro M5 Max adalah mesin portabel yang sangat baik untuk model hingga sekitar 100 GB. Model yang lebih besar, seperti Qwen3 235B yang butuh sekitar 133 GB, sama sekali tidak muat, dan dengan model dense kelas 70B serta konteks panjang ia menjadi lambat. Dalam duel raksasa kami, Mac Studio M5 Ultra 2,5 hingga 2,8 kali lebih cepat dengan model-model ini.
Seperti dicatat artikelnya, pengujian ini mengukur kecepatan, bukan kualitas jawaban.
Butuh lebih?
Sewa Mac Studio M5 Ultra 256 GB mulai satu hari dan jalankan model yang tidak muat di laptop.