VI
Mô hình AI cần bao nhiêu bộ nhớ?
Chọn dung lượng bộ nhớ máy Mac của bạn để xem những mô hình ngôn ngữ mở nào chạy được. Hoặc chọn một mô hình để biết nó cần bao nhiêu bộ nhớ.
Chúng tôi tính với lượng tử hóa 4 bit, phổ biến cho mô hình cục bộ, và ngữ cảnh đến khoảng 32.000 token: tham số × 4,5 bit ÷ 8, cộng 10 % và 2 GB cho ngữ cảnh và vận hành. Mặc định Mac dành cho GPU khoảng 67 % bộ nhớ (đến 36 GB) hoặc 75 % (trên 36 GB); có thể nâng giới hạn này. Đây là ước tính: mức dùng thực tế phụ thuộc vào phần mềm và độ dài ngữ cảnh. Trên Mac Studio 256 GB của chúng tôi với macOS 27.2.1, giới hạn GPU là 240 GB và công cụ dùng giá trị này cho 256 GB.
Dữ liệu mô hình: Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.
Công cụ ước tính bộ nhớ như thế nào
Một mô hình ngôn ngữ cần bộ nhớ cho ba thứ: trọng số, ngữ cảnh đang xử lý và bản thân quá trình chạy. Công cụ cộng chúng lại như sau.
Trọng số
Với lượng tử hóa 4 bit, mỗi tham số kể cả hệ số tỉ lệ chiếm khoảng 4,5 bit, tức khoảng 0,56 GB cho mỗi tỷ tham số. Vì vậy mô hình 70B cần khoảng 39 GB chỉ cho trọng số, mô hình 120B khoảng 66 GB.
Ngữ cảnh và KV cache
Với mỗi token trong ngữ cảnh, mô hình giữ khóa và giá trị trong bộ nhớ, gọi là KV cache. Dung lượng của nó tùy vào kiến trúc mô hình và tăng theo độ dài ngữ cảnh. Công cụ cộng thêm 10% và 2 GB vào trọng số, đủ cho ngữ cảnh đến khoảng 32.000 token với phần lớn mô hình. Với ngữ cảnh dài hơn nhiều, hãy dự trù nhiều hơn.
Vì sao Mac không dành toàn bộ bộ nhớ cho mô hình
Trên Apple Silicon, CPU và GPU dùng chung một bộ nhớ hợp nhất, và macOS giữ lại một phần cho hệ thống. GPU được dùng bao nhiêu theo mặc định tùy vào máy Mac và phiên bản macOS. Trên Mac Studio 256 GB của chúng tôi với macOS 27.2.1, Metal báo 240 GB, tức toàn bộ trừ 16 GB, và một mô hình 224 GB đã chạy mà không cần đổi thiết lập nào. Các phiên bản macOS cũ hơn và máy Mac nhỏ hơn thường chỉ cho khoảng hai phần ba đến ba phần tư, và với chúng công cụ vẫn giữ quy tắc thận trọng này. Có thể nâng giới hạn này (thiết lập iogpu.wired_limit_mb), nhưng khi đó hệ thống và các ứng dụng khác còn ít bộ nhớ hơn. Vì vậy công cụ hiển thị riêng trạng thái „Khi nâng giới hạn“.
4, 8 hay 16 bit
Lượng tử hóa 8 bit cần khoảng gấp đôi bộ nhớ so với 4 bit, còn 16 bit (BF16) khoảng gấp bốn. 4 bit là mức cân bằng thường dùng khi chạy cục bộ: với phần lớn mô hình, chất lượng giảm không đáng kể, dưới 4 bit thì giảm nhanh hơn. Xem thêm bài viết mô hình ngôn ngữ cần bao nhiêu bộ nhớ của chúng tôi.
Ước tính và đo thực tế
| Mô hình | Ước tính của công cụ | Đỉnh đo được | Mac nhỏ nhất vừa được |
|---|---|---|---|
| Qwen3 30B-A3B | 20,9 GB | 18,7 GB | 32 GB |
| Llama 3.3 70B | 45,7 GB | 43,3 GB | 64 GB |
| gpt-oss-120b | 74,4 GB | 64,5 GB | 128 GB |
Đo bằng mlx-lm 0.32.2 với prompt 8.192 token trên Mac Studio M5 Ultra, ngày 11 tháng 11 năm 2026. gpt-oss-120b dùng định dạng MXFP4, nhỏ hơn một chút so với 4,5 bit mà công cụ giả định.
Các ước tính được cố ý để dư một chút: trong lần đo của chúng tôi, cả ba mô hình đều cần ít hơn một chút. Nếu bạn chỉ cần một máy Mac lớn trong một thời gian, hãy so sánh thuê và mua Mac Studio M5 Ultra. Với Qwen3.5 397B, công cụ dùng mức đỉnh chúng tôi đo được với ngữ cảnh 32k (227,5 GB) thay cho ước tính, xem bài kiểm tra mô hình này.