16 Oktober 2026 · Jakub M.

Lima belas model AI di Mac Studio M5 Ultra: berapa token per detik yang benar-benar Anda dapat

Situs teknologi Ceko Vše Smart menjalankan 32 model bahasa lokal di Mac Studio dengan M5 Ultra dan memori 256 GB. Kami memilih lima belas di antaranya, dari Qwen3 4B yang kecil hingga Mistral Large dengan 123 miliar parameter, dan melihat arti angka-angka itu untuk pekerjaan sehari-hari.

Perbandingan kecepatan model lokal biasanya berhenti setelah dua atau tiga nama. Tim Vše Smart mengukur tiga puluh dua model di Mac Studio M5 Ultra dengan memori terpadu 256 GB, masing-masing sebelas kali. Dari hasil mereka kami mengambil lima belas model yang mewakili seluruh bidang dengan baik: kecil dan besar, dense dan mixture-of-experts.

Cara pengukurannya

Model dijalankan di Ollama, dikendalikan oleh skrip Python sederhana. Setiap model mendapat tugas yang sama, teks teknis panjang tentang cara mobil modern dibuat, dengan batas 2.000 token keluaran, temperatur 0, dan konteks 8.192 token. Uji pertama setiap model dibuang sebagai pemanasan, dan hasilnya adalah rata-rata sepuluh uji berikutnya. Ada jeda 30 detik di antara model.

Seluruh uji berlangsung lebih dari empat jam, dan model-model itu menghasilkan lebih dari 700.000 token selama prosesnya. Hanya kecepatan yang diukur; uji ini tidak menilai kualitas jawaban.

Hasil

Rata-rata dari sepuluh kali uji di Ollama, 2.000 token keluaran, konteks 8k. MoE = mixture of experts; “aktif” adalah jumlah parameter yang dipakai untuk setiap token. Data: Vše Smart. Hasil Ollama tidak bisa dibandingkan langsung dengan pengukuran MLX kami. Ini hasil pengukuran dalam kondisi di atas, bukan jaminan: kecepatan sebenarnya bergantung pada model, kuantisasi, panjang konteks, konfigurasi perangkat lunak, dan beban kerja.

Ukuran hanya sedikit menunjukkan kecepatan

Contoh paling jelas adalah gpt-oss-120b melawan Llama 3.3 70B. Model OpenAI punya lebih banyak parameter (117 miliar melawan 70), tetapi menulis lima kali lebih cepat: 115 token per detik melawan 23. Perbedaannya ada pada arsitektur. gpt-oss-120b adalah model mixture-of-experts dan hanya memakai sekitar lima miliar parameter untuk setiap token. Llama 3.3 bersifat dense, jadi selalu memproses ketujuh puluh miliar parameternya.

Qwen menunjukkan hal yang sama. Versi 122B-A10B dengan sepuluh miliar parameter aktif mencapai 85 token per detik, sedangkan Qwen3.5 27B yang dense, seperempat ukurannya, hanya 48. Jika kecepatan penting bagi Anda, parameter aktif biasanya lebih banyak bercerita daripada ukuran total, meski arsitektur, kuantisasi, dan perangkat lunak juga berperan.

Secepat apa yang cukup cepat

Untuk obrolan biasa, sekitar 20 token per detik biasanya terasa lancar. Dari lima belas model dalam tabel, hanya Mistral Large yang berada di bawah batas itu, dengan 14 token per detik. Model ini tetap berguna untuk pekerjaan yang tidak ditunggu siapa pun, seperti memproses dokumen semalaman.

Kecepatan jauh lebih penting saat asisten coding menulis blok kode panjang. Di sana model di atas 80 token per detik masuk akal, misalnya gpt-oss-120b, Qwen3-Next 80B, atau Qwen3.5 122B.

Sesuai dengan pengukuran kami sendiri

Kami mengukur beberapa model yang sama di Mac Studio kami sendiri, dengan MLX alih-alih Ollama dan metode yang sedikit berbeda. Angkanya berbeda beberapa hingga beberapa puluh persen, tetapi gambaran besarnya tetap sama. gpt-oss-120b memberi kami 120 token per detik (Vše Smart: 115), gpt-oss-20b 184 (169), dan Qwen3.5 27B 55 (48). Gemma 4 31B lebih lambat pada kami, 31 melawan 40, karena kami memakai versi model yang berbeda. Detailnya ada di artikel benchmark kami.

Coba sendiri

Ketiga puluh dua model muat di memori 256 GB dengan ruang tersisa. Jika Anda berpikir untuk membeli mesin seperti ini, atau hanya butuh dayanya untuk beberapa hari, Anda bisa menyewa Mac Studio M5 Ultra 256 GB kami.

Sumber data: Vše Smart: Mac Studio M5 Ultra diuji dengan 32 model AI lokal (Ludvík Eckerman, 5 Oktober 2026, dalam bahasa Ceko).

Ajukan sewa Performa

← Semua artikel