ID
15 Oktober 2026 · Jakub M.
Mac Studio M5 Ultra 256 GB dan AI lokal: kami mengukur enam model
Berapa token per detik yang benar-benar diberikan Mac Studio dengan M5 Ultra dan memori terpadu 256 GB? Kami menjalankan enam model terbuka populer dari 9 hingga 120 miliar parameter, dengan konteks kosong dan panjang, serta mencatat pemakaian memorinya.
Benchmark Apple Silicon untuk model bahasa lokal biasanya hanya menampilkan satu angka untuk satu model, tanpa menjelaskan cara mengukurnya. Kami menginginkan angka yang lengkap dan bisa diulang, jadi kami mengukur semua model dengan cara yang sama dan menuliskan metodenya.
Dengan apa dan bagaimana kami mengukur
- Perangkat keras: Mac Studio dengan Apple M5 Ultra, memori terpadu 256 GB, dan SSD 4 TB. Ini mesin yang sama dengan yang kami sewakan.
- Perangkat lunak: macOS 27.0.1, Python 3.12, dan mlx-lm 0.32, yang dibangun di atas framework MLX dari Apple.
- Model: konversi MLX dari organisasi mlx-community di Hugging Face, dalam kuantisasi 4-bit. Model gpt-oss memakai MXFP4 untuk bobot expert (varian “MXFP4-Q8”), Gemma 4 31B adalah versi QAT 4-bit.
- Uji: 512 token prompt diikuti 128 token yang dihasilkan, dengan 0, 8.192, dan 32.768 token sudah ada di konteks. Uji dengan konteks kosong dilakukan dua kali lalu dirata-rata, konteks yang lebih panjang sekali. Prompt terdiri dari token acak. Dengan prompt nyata dan jawaban lebih panjang, kecepatannya bisa berbeda.
- Memori: puncak memori yang dilaporkan MLX selama uji, termasuk bobot model dan cache konteks.
Hasil
| Model | Jenis | Ukuran | Gen., kosong | Gen., 8k | Gen., 32k | Memori, kosong | Memori, 32k |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | dense | 6,0 GB | 167 | 161 | 141 | 5,5 GB | 7,4 GB |
| gpt-oss-20b | MoE | 12,1 GB | 184 | 172 | 145 | 11,7 GB | 12,8 GB |
| Qwen3.5 27B | dense | 16,1 GB | 55 | 53 | 48 | 15,3 GB | 18,8 GB |
| Gemma 4 31B | dense | 28,8 GB | 31 | 27 | 21 | 26,6 GB | 31,5 GB |
| Qwen3.5 35B-A3B | MoE | 20,4 GB | 162 | 154 | 141 | 18,8 GB | 20,6 GB |
| gpt-oss-120b | MoE | 63,4 GB | 120 | 113 | 96 | 59,5 GB | 61,0 GB |
Kecepatan generasi dalam token per detik. “Kosong”, “8k”, dan “32k” adalah jumlah token yang sudah ada di konteks. Memori adalah puncak yang dilaporkan MLX. Ini hasil pengukuran dalam kondisi di atas, bukan jaminan: kecepatan sebenarnya bergantung pada model, kuantisasi, panjang konteks, konfigurasi perangkat lunak, dan beban kerja.
Apa arti angka-angkanya
Model mixture-of-experts jauh lebih cepat
Model tercepat dalam uji ini bukan yang terkecil. gpt-oss-20b menghasilkan 184 token per detik dan bahkan gpt-oss-120b mencapai 120. Keduanya model mixture-of-experts (MoE): untuk setiap token mereka hanya memakai sebagian kecil parameternya, menurut OpenAI sekitar 3,6 miliar untuk gpt-oss-20b dan 5,1 miliar untuk gpt-oss-120b. Qwen3.5 35B-A3B bekerja dengan cara yang sama dengan sekitar 3 miliar parameter aktif dan mencapai 162 token per detik.
Model dense memakai semua parameternya untuk setiap token, jadi lebih lambat: Qwen3.5 27B menghasilkan 55 token per detik dan Gemma 4 31B 31. Bahkan model paling lambat dalam uji ini, dengan 31 token per detik, menulis lebih cepat daripada kecepatan membaca kebanyakan orang.
Konteks panjang memangkas 12 hingga 32 persen
Dengan 32.768 token sudah di konteks, generasi melambat 12 hingga 21 persen pada sebagian besar model. Gemma 4 31B kehilangan paling banyak, dari 31 menjadi 21 token per detik, sekitar sepertiga. Jika Anda bekerja dengan dokumen panjang atau basis kode besar, inilah kolom yang perlu Anda perhatikan.
256 GB menyisakan banyak ruang
Model terbesar yang kami uji, gpt-oss-120b, membutuhkan 61 GB termasuk konteks 32k, kurang dari seperempat memori. Menurut perhitungan kami, sisa ruangnya cukup untuk model yang jauh lebih besar, misalnya Qwen3.5 122B-A10B (sekitar 70 GB dalam 4-bit) atau bahkan Qwen3.5 397B-A17B, yang file 4-bit-nya berukuran 224 GB. Model-model ini belum kami uji, dan konteks serta sistem juga butuh memori. Ini juga memungkinkan menjalankan beberapa model berdampingan, misalnya model besar untuk jawaban dan model kecil untuk routing cepat atau embedding.
Yang tidak kami ukur
- Kecepatan pemrosesan prompt. Uji singkat kami dengan 512 token memberi hasil yang berfluktuasi, kira-kira antara 500 dan 5.000 token per detik tergantung model. Itu cukup untuk mengatakan bahwa membaca prompt berkali-kali lebih cepat daripada menghasilkan teks, tetapi tidak cukup untuk angka pasti. Kami akan menambahkan pengukuran yang lebih panjang.
- Runtime lain. Kami hanya memakai MLX. llama.cpp, Ollama, atau model GGUF di LM Studio bisa memberi hasil berbeda.
- Kualitas jawaban, konsumsi daya, dan model terbesar (122B dan 397B). Ini berikutnya dalam daftar kami.
Coba dengan pekerjaan Anda sendiri
Angka dari uji orang lain tidak pernah sepenuhnya menjawab apakah sebuah mesin cocok untuk pekerjaan Anda. Karena itulah kami menyewakan Mac Studio yang persis ini, mulai satu hari, lewat SSH atau remote desktop. Jika Anda sedang mempertimbangkan untuk membelinya, Anda bisa lebih dulu menjalankan model dan data Anda sendiri di sana.