ID
Berapa memori yang dibutuhkan model AI?
Pilih berapa memori Mac Anda untuk melihat model bahasa terbuka mana yang akan berjalan. Atau pilih model untuk mengetahui berapa memori yang dibutuhkannya.
Kami menghitung dengan kuantisasi 4-bit yang umum untuk model lokal dan konteks hingga sekitar 32.000 token: parameter × 4,5 bit ÷ 8, ditambah 10 % dan 2 GB untuk konteks dan runtime. Secara bawaan Mac memberi GPU sekitar 67 % memori (hingga 36 GB) atau 75 % (di atas 36 GB); batas ini bisa dinaikkan. Ini perkiraan: pemakaian sebenarnya bergantung pada perangkat lunak dan panjang konteks. Di Mac Studio 256 GB kami dengan macOS 27.2.1, batas GPU adalah 240 GB, dan nilai itu yang dipakai kalkulator untuk 256 GB.
Data model: Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.
Cara kalkulator memperkirakan memori
Model bahasa membutuhkan memori untuk tiga hal: bobotnya, konteks yang sedang diproses, dan proses berjalannya sendiri. Kalkulator menjumlahkannya seperti ini.
Bobot
Dengan kuantisasi 4-bit, setiap parameter beserta faktor skalanya memakan sekitar 4,5 bit, atau kira-kira 0,56 GB per miliar parameter. Jadi model 70B butuh sekitar 39 GB hanya untuk bobotnya, dan model 120B sekitar 66 GB.
Konteks dan KV cache
Untuk setiap token dalam konteks, model menyimpan kunci dan nilai di memori, yang disebut KV cache. Besarnya bergantung pada arsitektur model dan bertambah seiring panjang konteks. Kalkulator menambahkan 10% dan 2 GB pada bobot, yang untuk sebagian besar model cukup untuk konteks hingga sekitar 32.000 token. Untuk konteks yang jauh lebih panjang, siapkan lebih banyak.
Mengapa Mac tidak memberikan seluruh memorinya ke model
Pada Apple Silicon, CPU dan GPU berbagi satu memori terpadu, dan macOS menyisakan sebagian untuk sistem. Berapa yang boleh dipakai GPU secara bawaan bergantung pada Mac dan versi macOS. Di Mac Studio 256 GB kami dengan macOS 27.2.1, Metal melaporkan 240 GB, yaitu semuanya kecuali 16 GB, dan model berukuran 224 GB berjalan tanpa mengubah pengaturan apa pun. Versi macOS lama dan Mac yang lebih kecil biasanya hanya membolehkan sekitar dua pertiga hingga tiga perempat, dan untuk itu kalkulator tetap memakai aturan yang lebih hati-hati ini. Batas ini bisa dinaikkan (pengaturan iogpu.wired_limit_mb), dengan konsekuensi memori untuk sistem dan aplikasi lain berkurang. Karena itu kalkulator menampilkan status „Dengan batas dinaikkan“ secara terpisah.
4, 8, atau 16 bit
Kuantisasi 8-bit membutuhkan kira-kira dua kali memori 4-bit, dan 16-bit (BF16) sekitar empat kali. 4 bit adalah kompromi yang umum untuk penggunaan lokal: pada sebagian besar model penurunan kualitasnya kecil, di bawah 4 bit penurunannya lebih cepat. Selengkapnya di artikel kami tentang berapa memori yang dibutuhkan model bahasa.
Perkiraan dan pengukuran
| Model | Perkiraan kalkulator | Puncak terukur | Mac terkecil yang muat |
|---|---|---|---|
| Qwen3 30B-A3B | 20,9 GB | 18,7 GB | 32 GB |
| Llama 3.3 70B | 45,7 GB | 43,3 GB | 64 GB |
| gpt-oss-120b | 74,4 GB | 64,5 GB | 128 GB |
Diukur dengan mlx-lm 0.32.2 dan prompt 8.192 token di Mac Studio M5 Ultra, 11 November 2026. gpt-oss-120b memakai format MXFP4 yang sedikit lebih kecil daripada 4,5 bit yang diasumsikan kalkulator.
Perkiraan ini sengaja dibuat hati-hati: dalam pengukuran kami, ketiga model membutuhkan sedikit lebih sedikit. Jika Anda hanya butuh Mac besar untuk sementara, bandingkan menyewa dan membeli Mac Studio M5 Ultra. Untuk Qwen3.5 397B, kalkulator memakai puncak terukur kami dengan konteks 32k (227,5 GB) sebagai ganti perkiraan, lihat tes kami untuk model ini.