2026년 10월 20일 · Jakub M.

언어 모델에는 메모리가 얼마나 필요할까? 7B부터 405B까지 한눈에

70B 모델은 64 GB에 들어갈까요? 235B는요? 크기별 언어 모델이 메모리를 얼마나 차지하는지, 컨텍스트가 얼마나 더하는지, 어떤 Mac이 무엇에 충분한지 계산했습니다.

모델이 메모리에 들어가는지는 간단한 계산으로 알 수 있습니다. 파라미터 수에 파라미터당 비트 수를 곱하고 8로 나누면 됩니다. 700억 파라미터 모델은 완전한 FP16 정밀도(16비트)에서 140 GB, 8비트에서는 그 절반, 4비트에서는 약 4분의 1을 차지합니다. 로컬 모델에서는 오늘날 4비트 양자화가 표준입니다.

가중치가 차지하는 양

크기	예시 모델	4비트	8비트	FP16(비양자화)
7–8B	Llama 3.1 8B, Qwen3 8B	≈ 4.5 GB	≈ 8.5 GB	≈ 16 GB
14B	Qwen3 14B	≈ 8 GB	≈ 15 GB	≈ 28 GB
27–32B	Qwen3.5 27B, Qwen3 32B	≈ 18 GB	≈ 34 GB	≈ 64 GB
70B	Llama 3.3 70B	≈ 39 GB	≈ 74 GB	≈ 140 GB
117B	gpt-oss-120b	≈ 66 GB	≈ 124 GB	≈ 234 GB
235B	Qwen3 235B-A22B	≈ 132 GB	≈ 250 GB	≈ 470 GB
405B	Llama 3.1 405B	≈ 228 GB	≈ 430 GB	≈ 810 GB

모델 가중치만, 반올림한 값입니다. 각 값에 컨텍스트용 메모리와 1~2 GB의 오버헤드가 더해집니다. 실제로 4비트 양자화는 스케일 계수도 저장해야 해서 파라미터당 약 4.5비트가 필요합니다.

컨텍스트는 메모리를 더 쓴다

모델은 가중치 외에도 작업 중인 텍스트, 이른바 KV 캐시를 메모리에 둡니다. 이 캐시는 컨텍스트 토큰이 늘어날수록 커집니다. Llama 3.1 8B는 토큰당 약 128 KB이므로 32,000토큰 컨텍스트는 약 4 GB, 전체 128,000토큰은 약 16 GB를 더 씁니다. Llama 3.3 70B는 토큰당 320 KB로, 32k면 10 GB, 128k면 무려 40 GB가 더 필요합니다.

최신 모델은 더 절약형입니다. 저희 Mac Studio에서 gpt-oss-120b는 빈 컨텍스트와 32k 사이에 1.5 GB만 늘었는데, 레이어의 절반이 마지막 128토큰만 보기 때문입니다. Gemma 4 31B는 4.9 GB 늘었습니다. 정확한 수치는 저희 측정에 있습니다.

MoE 모델: 메모리는 전체만큼, 속도는 일부만큼

gpt-oss-120b나 Qwen3 235B-A22B 같은 mixture of experts(MoE) 모델은 토큰마다 파라미터의 일부만 쓰기 때문에 같은 총 크기의 dense 모델보다 대개 훨씬 빠릅니다. 하지만 메모리에는 모델 전체가 올라가야 합니다. 활성 파라미터가 220억 개인 235B MoE 모델은 235B 모델만큼 자리를 차지하면서도 속도는 훨씬 작은 모델에 가깝습니다. 얼마나 가까운지는 구조, 전문가 라우팅, 양자화, 컨텍스트 길이, 사용하는 소프트웨어에 따라 다릅니다.

Mac 메모리 중 모델이 실제로 쓸 수 있는 양

Mac에는 별도의 그래픽 메모리가 없으며 CPU와 GPU가 하나의 메모리를 공유합니다. 다만 macOS는 기본적으로 GPU가 전부를 가져가지 못하게 하고 시스템용 여유분을 남겨 둡니다. 다음 재시동까지 유효한 명령으로 한도를 올릴 수 있습니다.

sudo sysctl iogpu.wired_limit_mb=240000

값의 단위는 메가바이트입니다. 시스템에 최소 8~16 GB는 남겨 두는 것이 좋습니다. 대여한 Mac에서는 계정에 관리자 권한이 없으므로 이 한도는 요청 시 저희가 설정해 드립니다.

Mac 메모리	모델이 쓸 수 있는 양(대략)	여유 있게 들어가는 모델
16 GB	10~11 GB	4비트 7~8B
32 GB	21~24 GB	4비트 14B, 짧은 컨텍스트로 27~32B
64 GB	48 GB	중간 컨텍스트로 4비트 70B, 8비트 32B
128 GB	96 GB	4비트 117B MoE(gpt-oss-120b), 8비트 70B
256 GB	192 GB, 한도를 올리면 ~240 GB까지	4비트 235B, 3비트 405B 또는 여러 모델 동시 실행

macOS의 기본 GPU 한도를 기준으로 한 추정치이며, 정확한 값은 시스템 버전에 따라 다릅니다.

양자화로 품질은 얼마나 떨어질까

양자화된 모델이 잃는 품질은 모델과 작업에 따라 다르므로 직접 하는 작업으로 시험해 보세요. 대략적인 기준을 말하자면 8비트 버전은 대개 완전한 정밀도에 매우 가깝고, 4비트 버전은 조금 더 잃지만 로컬 실행의 일반적인 절충안입니다. 4비트 미만에서는 하락이 대개 더 뚜렷하며, 특히 작은 모델에서 그렇습니다. 405B 같은 아주 큰 모델에서는 3비트 버전도 의미가 있을 수 있습니다. 더 거칠게 양자화한 큰 모델이 정밀도가 높은 작은 모델을 이기기도 하기 때문입니다.

요약

4비트에서는 파라미터 10억 개당 약 0.56 GB에 컨텍스트와 몇 GB의 오버헤드를 더해 계산하세요.
긴 컨텍스트는 수십 GB를 차지할 수 있지만, 최신 모델에서는 훨씬 적습니다.
MoE 모델에서 필요한 메모리는 총 크기가 결정합니다. 활성 부분은 속도에 크게 영향을 주지만 유일한 요인은 아닙니다.

가지고 계신 Mac으로 부족하다면, 컨텍스트와 시스템용 공간을 남겨 둔다는 전제로 저희 256 GB Mac Studio M5 Ultra에는 4비트 235B 모델, 3비트 405B 모델, 또는 여러 소형 모델을 동시에 올릴 수 있을 것입니다. 추정치이므로 장기 대여 전에 모델을 먼저 시험해 보세요. 요청하시면 GPU 한도를 올려 드립니다.

대여 문의하기 성능