VI
20 tháng 10 năm 2026 · Jakub M.
Mô hình ngôn ngữ cần bao nhiêu bộ nhớ? Bảng từ 7B đến 405B
Mô hình 70B có vừa 64 GB không? Còn 235B? Chúng tôi đã tính các mô hình ngôn ngữ ở nhiều kích thước chiếm bao nhiêu bộ nhớ, ngữ cảnh cộng thêm bao nhiêu, và máy Mac nào đủ cho việc gì.
Một mô hình có vừa bộ nhớ hay không là phép tính đơn giản. Nhân số tham số với số bit mỗi tham số rồi chia cho tám. Mô hình 70 tỷ tham số chiếm 140 GB ở độ chính xác FP16 đầy đủ (16 bit), khoảng một nửa ở 8 bit và khoảng một phần tư ở 4 bit. Với mô hình cục bộ, lượng tử hóa 4 bit ngày nay là chuẩn.
Trọng số chiếm bao nhiêu
| Kích thước | Mô hình ví dụ | 4 bit | 8 bit | FP16 (chưa lượng tử hóa) |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4,5 GB | ≈ 8,5 GB | ≈ 16 GB |
| 14B | Qwen3 14B | ≈ 8 GB | ≈ 15 GB | ≈ 28 GB |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 GB | ≈ 34 GB | ≈ 64 GB |
| 70B | Llama 3.3 70B | ≈ 39 GB | ≈ 74 GB | ≈ 140 GB |
| 117B | gpt-oss-120b | ≈ 66 GB | ≈ 124 GB | ≈ 234 GB |
| 235B | Qwen3 235B-A22B | ≈ 132 GB | ≈ 250 GB | ≈ 470 GB |
| 405B | Llama 3.1 405B | ≈ 228 GB | ≈ 430 GB | ≈ 810 GB |
Chỉ tính trọng số mô hình, đã làm tròn. Mỗi giá trị cần cộng thêm bộ nhớ cho ngữ cảnh và 1–2 GB chi phí phụ. Trên thực tế, lượng tử hóa 4 bit cần khoảng 4,5 bit mỗi tham số, vì còn phải lưu các hệ số tỷ lệ.
Ngữ cảnh tốn thêm bộ nhớ
Ngoài trọng số, mô hình còn giữ trong bộ nhớ văn bản đang xử lý, gọi là bộ nhớ đệm KV. Nó tăng theo từng token ngữ cảnh. Với Llama 3.1 8B là khoảng 128 KB mỗi token, nên ngữ cảnh 32.000 token tốn thêm khoảng 4 GB và trọn 128.000 token khoảng 16 GB. Với Llama 3.3 70B là 320 KB mỗi token: 32k nghĩa là thêm 10 GB, 128k là tới 40 GB.
Các mô hình mới tiết kiệm hơn. Trên Mac Studio của chúng tôi, gpt-oss-120b chỉ tăng 1,5 GB giữa ngữ cảnh trống và 32k, vì một nửa số lớp của nó chỉ nhìn 128 token cuối. Gemma 4 31B tăng 4,9 GB. Số liệu chính xác có trong bài đo của chúng tôi.
Mô hình MoE: bộ nhớ cho toàn bộ, tốc độ cho một phần
Các mô hình mixture of experts (MoE) như gpt-oss-120b hay Qwen3 235B-A22B chỉ dùng một phần tham số cho mỗi token, nên thường nhanh hơn nhiều so với mô hình dense cùng tổng kích thước. Nhưng toàn bộ mô hình vẫn phải nằm trong bộ nhớ. Vì vậy mô hình MoE 235B với 22 tỷ tham số hoạt động chiếm chỗ như một mô hình 235B, trong khi tốc độ lại gần với một mô hình nhỏ hơn nhiều. Gần đến mức nào phụ thuộc vào kiến trúc, cách định tuyến chuyên gia, lượng tử hóa, độ dài ngữ cảnh và phần mềm sử dụng.
Mô hình thực sự được dùng bao nhiêu bộ nhớ của Mac
Máy Mac không có bộ nhớ đồ họa riêng: CPU và GPU dùng chung một bộ nhớ. Tuy nhiên theo mặc định, macOS không cho GPU lấy hết mà giữ lại một phần cho hệ thống. Có thể nâng giới hạn bằng một lệnh có hiệu lực đến lần khởi động lại tiếp theo:
sudo sysctl iogpu.wired_limit_mb=240000Giá trị tính bằng megabyte. Nên để lại cho hệ thống ít nhất 8–16 GB. Trên máy Mac thuê, tài khoản của bạn không có quyền quản trị; vì vậy giới hạn này chúng tôi đặt giúp bạn theo yêu cầu.
| Bộ nhớ của Mac | Dành cho mô hình, khoảng | Vừa thoải mái |
|---|---|---|
| 16 GB | 10–11 GB | 7–8B ở 4 bit |
| 32 GB | 21–24 GB | 14B ở 4 bit, 27–32B với ngữ cảnh ngắn hơn |
| 64 GB | 48 GB | 70B ở 4 bit với ngữ cảnh trung bình, 32B ở 8 bit |
| 128 GB | 96 GB | 117B MoE (gpt-oss-120b) ở 4 bit, 70B ở 8 bit |
| 256 GB | 192 GB, đến ~240 GB khi nâng giới hạn | 235B ở 4 bit, 405B ở 3 bit hoặc nhiều mô hình cùng lúc |
Ước tính dựa trên giới hạn mặc định của macOS cho GPU; giá trị chính xác tùy phiên bản hệ thống.
Lượng tử hóa làm giảm chất lượng bao nhiêu
Mức giảm chất lượng của mô hình lượng tử hóa tùy thuộc vào mô hình và nhiệm vụ, nên hãy thử trên công việc của bạn. Để định hướng: bản 8 bit thường rất gần độ chính xác đầy đủ, bản 4 bit mất nhiều hơn một chút và là lựa chọn dung hòa thông thường khi chạy cục bộ. Dưới 4 bit, mức giảm thường rõ hơn, nhất là ở mô hình nhỏ. Với mô hình rất lớn như 405B, bản 3 bit vẫn có thể hợp lý, vì một mô hình lớn hơn với lượng tử hóa thô hơn đôi khi vượt một mô hình nhỏ hơn với độ chính xác cao hơn.
Tóm lại
- Ở 4 bit, tính khoảng 0,56 GB cho mỗi tỷ tham số, cộng ngữ cảnh và vài GB chi phí phụ.
- Ngữ cảnh dài có thể chiếm hàng chục GB, ở mô hình mới thì ít hơn nhiều.
- Với mô hình MoE, tổng kích thước quyết định nhu cầu bộ nhớ. Phần hoạt động ảnh hưởng mạnh đến tốc độ, nhưng không phải yếu tố duy nhất.
Nếu máy Mac của bạn không đủ, Mac Studio M5 Ultra 256 GB của chúng tôi có thể chứa một mô hình 235B ở 4 bit, 405B ở 3 bit hoặc nhiều mô hình nhỏ hơn cùng lúc, miễn là chừa chỗ cho ngữ cảnh và hệ thống. Đây là ước tính, nên hãy thử mô hình của bạn trước khi thuê dài hạn. Theo yêu cầu, chúng tôi sẽ nâng giới hạn GPU cho bạn.