ID
20 Oktober 2026 · Jakub M.
Berapa memori yang dibutuhkan model bahasa? Tabel dari 7B hingga 405B
Apakah model 70B muat di 64 GB? Bagaimana dengan 235B? Kami menghitung berapa memori yang dipakai model bahasa berbagai ukuran, berapa tambahan dari konteks, dan Mac mana yang cukup untuk apa.
Apakah sebuah model muat di memori adalah soal aritmetika sederhana. Kalikan jumlah parameter dengan bit per parameter lalu bagi delapan. Model dengan 70 miliar parameter dalam presisi penuh FP16 (16 bit) memakan 140 GB, sekitar setengahnya dalam 8-bit, dan sekitar seperempatnya dalam 4-bit. Untuk model lokal, kuantisasi 4-bit kini menjadi standar.
Berapa banyak yang dipakai bobot
| Ukuran | Contoh model | 4-bit | 8-bit | FP16 (tanpa kuantisasi) |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4,5 GB | ≈ 8,5 GB | ≈ 16 GB |
| 14B | Qwen3 14B | ≈ 8 GB | ≈ 15 GB | ≈ 28 GB |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 GB | ≈ 34 GB | ≈ 64 GB |
| 70B | Llama 3.3 70B | ≈ 39 GB | ≈ 74 GB | ≈ 140 GB |
| 117B | gpt-oss-120b | ≈ 66 GB | ≈ 124 GB | ≈ 234 GB |
| 235B | Qwen3 235B-A22B | ≈ 132 GB | ≈ 250 GB | ≈ 470 GB |
| 405B | Llama 3.1 405B | ≈ 228 GB | ≈ 430 GB | ≈ 810 GB |
Hanya bobot model, dibulatkan. Tambahkan memori untuk konteks dan 1–2 GB overhead ke setiap angka. Dalam praktiknya kuantisasi 4-bit memakan sekitar 4,5 bit per parameter, karena skalanya juga disimpan.
Konteks memakan memori tambahan
Selain bobot, model menyimpan teks yang sedang dikerjakannya di memori, yang disebut KV cache. Ukurannya bertambah dengan setiap token konteks. Untuk Llama 3.1 8B sekitar 128 KB per token, jadi konteks 32.000 token menambah sekitar 4 GB dan 128.000 penuh sekitar 16 GB. Untuk Llama 3.3 70B 320 KB per token: 32k berarti tambahan 10 GB, 128k sampai 40 GB.
Model yang lebih baru lebih hemat. Di Mac Studio kami, gpt-oss-120b hanya bertambah 1,5 GB antara konteks kosong dan 32k, karena separuh lapisannya hanya melihat 128 token terakhir. Gemma 4 31B bertambah 4,9 GB. Angka lengkapnya ada di pengukuran kami.
Model MoE: memori untuk keseluruhan, kecepatan untuk sebagian
Model mixture-of-experts (MoE) seperti gpt-oss-120b atau Qwen3 235B-A22B hanya memakai sebagian parameternya untuk setiap token, sehingga biasanya jauh lebih cepat daripada model dense dengan ukuran total yang sama. Namun seluruh model harus ada di memori. Model MoE 235B dengan 22 miliar parameter aktif karenanya memakan ruang sebesar model 235B, sementara kecepatannya lebih mendekati model yang jauh lebih kecil. Seberapa dekat bergantung pada arsitektur, routing expert, kuantisasi, panjang konteks, dan perangkat lunak yang Anda pakai.
Berapa banyak memori Mac yang benar-benar didapat model
Mac tidak punya memori grafis terpisah: CPU dan GPU berbagi satu kumpulan memori. Namun secara bawaan macOS tidak membiarkan GPU mengambil semuanya dan menyisakan cadangan untuk sistem. Anda bisa menaikkan batasnya dengan perintah yang berlaku hingga restart berikutnya:
sudo sysctl iogpu.wired_limit_mb=240000Nilainya dalam megabyte. Sebaiknya sisakan setidaknya 8–16 GB untuk sistem. Di Mac sewaan, akun Anda tidak memiliki hak administrator, jadi batas ini kami atur untuk Anda atas permintaan.
| Memori Mac | Kira-kira tersedia untuk model | Yang muat dengan nyaman |
|---|---|---|
| 16 GB | 10–11 GB | 7–8B dalam 4-bit |
| 32 GB | 21–24 GB | 14B dalam 4-bit, 27–32B dengan konteks lebih pendek |
| 64 GB | 48 GB | 70B dalam 4-bit dengan konteks sedang, 32B dalam 8-bit |
| 128 GB | 96 GB | 117B MoE (gpt-oss-120b) dalam 4-bit, 70B dalam 8-bit |
| 256 GB | 192 GB, hingga ~240 GB setelah batas dinaikkan | 235B dalam 4-bit, 405B dalam 3-bit, atau beberapa model sekaligus |
Perkiraan berdasarkan batas bawaan macOS untuk GPU; nilai pastinya berbeda menurut versi sistem.
Berapa kualitas yang hilang karena kuantisasi
Seberapa banyak kualitas yang hilang pada model terkuantisasi bergantung pada model dan tugasnya, jadi ujilah pada pekerjaan Anda sendiri. Sebagai patokan kasar, versi 8-bit biasanya sangat dekat dengan presisi penuh, sedangkan versi 4-bit kehilangan sedikit lebih banyak dan menjadi kompromi umum untuk menjalankan model secara lokal. Di bawah 4 bit penurunannya cenderung lebih terasa, terutama pada model yang lebih kecil. Pada model yang sangat besar seperti 405B, versi 3-bit masih bisa masuk akal, karena model yang lebih besar dengan kuantisasi lebih kasar kadang mengungguli model yang lebih kecil dengan presisi lebih tinggi.
Singkatnya
- Pada 4-bit, hitung sekitar 0,56 GB per miliar parameter, ditambah konteks dan beberapa GB overhead.
- Konteks panjang bisa memakan puluhan GB, jauh lebih sedikit pada model yang lebih baru.
- Pada model MoE, ukuran total yang menentukan memori. Bagian yang aktif sangat memengaruhi kecepatan, tetapi bukan satu-satunya faktor.
Jika Mac Anda sendiri tidak cukup, Mac Studio M5 Ultra 256 GB kami seharusnya mampu menampung model 235B dalam 4-bit, 405B dalam 3-bit, atau beberapa model kecil sekaligus, selama Anda menyisakan ruang untuk konteks dan sistem. Ini perkiraan, jadi cobalah model Anda sebelum menyewa lebih lama. Atas permintaan, kami dapat menaikkan batas GPU untuk Anda.