ID
26 Oktober 2026 · Jakub M.
Uji Mac Studio M5 Ultra: Qwen3 235B dengan 46 token per detik dan pembacaan prompt yang cepat
Situs teknologi Ceko Vše Smart menguji Mac Studio M5 Ultra dengan 256 GB menggunakan lima model bahasa di llama.cpp dan MLX. Yang terbesar, Qwen3 235B, memakai 133 GB memori dan menghasilkan 46 token per detik. Berikut arti hasilnya untuk menjalankan model besar.
Sumber: Mac Studio M5 Ultra v testu: Qwen3 235B a rychlost čtení promptů, Ludvík Eckerman, Vše Smart, 26 Oktober 2026 (dalam bahasa Ceko). Semua angka di bawah berasal dari artikel tersebut.
Situs Ceko Vše Smart menerbitkan uji mendetail Mac Studio dengan chip M5 Ultra. Konfigurasinya sama dengan yang kami sewakan: GPU 80 inti dan memori terpadu 256 GB. Uji ini berfokus pada dua hal yang belum dibahas benchmark pertama kami: seberapa cepat Mac membaca prompt panjang, dan model yang tidak muat di mesin 128 GB.
Cara Vše Smart menguji
- Perangkat keras: Mac Studio M5 Ultra (GPU 80 inti), 256 GB, macOS 27.0.1, tanpa aplikasi lain yang berjalan.
- Perangkat lunak: llama.cpp dengan semua lapisan di GPU, serta MLX 0.32 dengan mlx-lm. Daya dan suhu dicatat dengan macmon.
- Model: Qwen3 8B, Qwen3 30B-A3B, Llama 3.3 70B, gpt-oss-120b, dan Qwen3 235B-A22B, semuanya dalam kuantisasi 4-bit (gpt-oss dalam MXFP4). Qwen3 235B hanya di MLX.
- Pengujian: prompt 512, 4.096, dan 16.384 token dengan 128 token yang dihasilkan, ditambah sepuluh menit beban terus-menerus. Diukur pada 24 Oktober 2026.
Hasil
| Model | Memori | Generasi, llama.cpp | Generasi, MLX | Prompt 4k, llama.cpp | Prompt 4k, MLX |
|---|---|---|---|---|---|
| Qwen3 8B | ≈ 5 GB | 149 | 176 | 4.205 | 6.360 |
| Qwen3 30B-A3B | ≈ 18 GB | 172 | 159 | 4.535 | 9.870 |
| Llama 3.3 70B | ≈ 42 GB | 23 | 25 | 509 | 716 |
| gpt-oss-120b | ≈ 63 GB | 142 | 130 | 3.387 | 6.538 |
| Qwen3 235B-A22B | ≈ 133 GB | – | 46 | – | 1.656 |
Token per detik dengan konteks kosong: menghasilkan 128 token dan membaca prompt 4.096 token. Qwen3 235B hanya diuji di MLX. Sumber: Vše Smart, diukur pada 24 Oktober 2026.
MLX membaca prompt hingga dua kali lebih cepat
Sebelum menulis kata pertama jawabannya, model harus membaca seluruh prompt, misalnya dokumen yang ingin Anda ringkas. Menurut Vše Smart, MLX membaca prompt 1,4 hingga 2,2 kali lebih cepat daripada llama.cpp pada semua model, dengan selisih terbesar pada Qwen3 30B-A3B. Dengan gpt-oss-120b di MLX, dokumen 4.000 token terbaca jauh di bawah satu detik. Untuk generasi tidak ada pemenang yang jelas, jadi ada baiknya mencoba keduanya dengan model Anda sendiri.
Konteks panjang
| Model | Generasi | Membaca prompt |
|---|---|---|
| Qwen3 8B | 121 | 5.240 |
| Qwen3 30B-A3B | 115 | 6.822 |
| Llama 3.3 70B | 22 | 650 |
| gpt-oss-120b | 114 | 6.332 |
| Qwen3 235B-A22B | 33 | 1.289 |
MLX, prompt 16.384 token diikuti 128 token yang dihasilkan, dalam token per detik. Sumber: Vše Smart.
Dengan prompt 16.384 token, generasi di MLX melambat sekitar 12 hingga 31 persen, tergantung modelnya.
Qwen3 235B butuh lebih dari 128 GB
Model terbesar memakai sekitar 133 GB memori dan menghasilkan sekitar 46 token per detik, lebih cepat daripada kecepatan membaca kebanyakan orang. Model ini tidak akan muat di Mac 128 GB, dan di sinilah konfigurasi 256 GB membuat perbedaan.
Suhu, daya, dan perbandingan dengan M3 Ultra
GPU mencapai suhu tertinggi 87 °C dan chip memakai daya hingga 215 W saat membaca prompt. Kipas naik ke 2.265 rpm, 62 persen dari maksimumnya, dan selama sepuluh menit beban terus-menerus pengujian tidak menemukan throttling. Dalam uji standar llama.cpp dengan Llama 2 7B (Q4_0), artikel memperkirakan M5 Ultra membaca prompt sekitar 3,5 kali lebih cepat dan menghasilkan sekitar dua kali lebih cepat daripada M3 Ultra. Penulis mencatat bahwa angka M3 Ultra berasal dari tabel komunitas llama.cpp yang diukur dengan versi lama, jadi perbandingannya hanya kasar.
Seperti disebutkan artikel, pengujian ini mengukur kecepatan, bukan kualitas jawaban, hanya memakai kuantisasi 4-bit dan permintaan tunggal, serta mencantumkan daya chip, bukan daya seluruh komputer.
Coba sendiri
Anda bisa menyewa Mac Studio M5 Ultra 256 GB mulai satu hari dan menguji model Anda sendiri di sana. Uji beban satu jam kami menunjukkan perilakunya di bawah beban berkelanjutan.