ID
12 November 2026 · Jakub M.
Qwen3.5 397B di satu Mac Studio M5 Ultra: 224 GB dan 62 token per detik
Model dengan 397 miliar parameter memakan sekitar 224 GB dalam 4 bit. Kami menjalankannya di satu Mac Studio M5 Ultra 256 GB: model ini menghasilkan sekitar 62 token per detik, menangani konteks 128 ribu token, dan tidak membutuhkan perubahan pengaturan macOS sama sekali.
Tes terbesar kami sejauh ini adalah Qwen3 235B dengan ukuran sekitar 133 GB. Kali ini kami pergi ke batas memori Mac: Qwen3.5 397B-A17B, model mixture-of-experts dengan 397 miliar parameter, yang sekitar 17 miliar di antaranya bekerja untuk setiap token. Dalam format MLX 4-bit, model ini memakan sekitar 224 GB.
Cara kami mengukur
- Perangkat keras: Mac Studio dengan Apple M5 Ultra (CPU 36 inti, GPU 80 inti) dan memori terpadu 256 GB, macOS 27.2.1.
- Perangkat lunak: Python 3.12, MLX 0.32.4, mlx-lm 0.32.2, model
mlx-community/Qwen3.5-397B-A17B-4bit. - Tes: alat bawaan
mlx_lm.benchmark, prompt dari token acak dengan seed tetap, dan satu putaran pemanasan sebelum setiap pengukuran. Prompt 512 dan 8.192 token dengan 128 token dihasilkan (tiga dan dua kali), lalu prompt lebih panjang hingga 131.072 token dengan 64 token dihasilkan (masing-masing sekali).
Hasil
| Prompt (token) | Pemrosesan prompt (tok/dtk) | Generasi (tok/dtk) | Puncak memori |
|---|---|---|---|
| 512 | 159 | 61,6 | 224,3 GB |
| 8.192 | 1.265 | 59,9 | 226,8 GB |
| 16.384 | 1.432 | 58,3 | 227,0 GB |
| 32.768 | 1.500 | 55,1 | 227,5 GB |
| 65.536 | 1.345 | 50,3 | 228,5 GB |
| 131.072 | 1.080 | 44,1 | 230,6 GB |
Qwen3.5 397B-A17B, MLX 4-bit (mlx-community), mlx-lm 0.32.2, macOS 27.2.1, diukur pada 12 November 2026. 512 dan 8.192 token: 128 token dihasilkan, rata-rata 3 dan 2 putaran; prompt lebih panjang: 64 token dihasilkan, satu pengukuran. Nilai pada prompt 512 token berubah-ubah antarputaran (141 hingga 195 tok/dtk).
Tanpa mengubah pengaturan
Kami memperkirakan model tidak akan muat dengan pengaturan bawaan. Versi macOS lama hanya membolehkan GPU memakai sekitar tiga perempat memori, atau sekitar 192 GB pada Mac 256 GB. Namun di Mac kami dengan macOS 27.2.1, Metal melaporkan batas yang direkomendasikan sebesar 240 GB (257,7 miliar byte), yaitu seluruh memori kecuali 16 GB. Model berjalan dengan pengaturan bawaan secepat dengan batas yang diatur manual, swap tetap di bawah 45 MB, dan macOS terus melaporkan tekanan memori normal. Nilai 240 GB yang sama kami ukur di Mac 256 GB kami yang kedua. Kami pun telah memperbarui kalkulator RAM kami.
Ini penting bagi penyewa: mereka tidak punya hak administrator, jadi tidak bisa menaikkan batas sendiri. Di Mac ini mereka tidak perlu melakukannya.
Konteks panjang hanya butuh sedikit memori
Dari prompt 512 token hingga prompt 131.072 token, puncak memori hanya naik sekitar 6 GB, dari 224,3 menjadi 230,6 GB. Bahkan dengan konteks terpanjang, lebih dari 25 GB tetap kosong untuk sistem. Kecepatan memang turun seiring panjang konteks: generasi turun dari 62 ke 44 token per detik, yang masih nyaman untuk dibaca.
Lebih besar, tetapi lebih cepat
Dalam tes kami bulan Oktober, Qwen3 235B menghasilkan 46 token per detik dengan konteks kosong dan 33 dengan prompt 16.384 token. Qwen3.5 397B hampir dua kali lebih besar, tetapi menghasilkan sekitar 62 dan 58 token per detik dalam situasi serupa. Alasannya adalah jumlah parameter aktif per token yang lebih kecil: sekitar 17 miliar, bukan 22. Tes Oktober memakai versi perangkat lunak yang lebih lama dan metode yang sedikit berbeda, jadi anggap perbandingan ini sebagai gambaran kasar.
Daya
Selama tes, chip (CPU dan GPU) menarik daya maksimal sekitar 104 W, diukur dengan powermetrics dalam sampel 2 detik. Kami tidak mencantumkan rata-rata karena pengukuran juga mencakup pemuatan model dan jeda.
Keterbatasan tes
Kami mengukur satu model di satu Mac dengan permintaan tunggal. Prompt dari token acak memberi angka kecepatan murni; pada tugas nyata kecepatannya bisa berbeda. Tes ini tidak mengukur kualitas jawaban, dan versi 4-bit bisa menjawab sedikit lebih buruk daripada model penuh.
Coba sendiri
Jika Anda ingin menjalankan model sebesar ini tanpa membeli Mac seharga lebih dari €12.000, Anda bisa menyewa Mac Studio M5 Ultra 256 GB mulai satu hari.