AI 모델에는 메모리가 얼마나 필요할까?

Mac의 메모리 용량을 고르면 실행할 수 있는 오픈 언어 모델이 표시됩니다. 모델을 고르면 필요한 메모리를 알 수 있습니다.

Mac의 메모리는 얼마인가요?

64 GB

로컬 모델에서 일반적인 4비트 양자화와 약 3만 2천 토큰 이하의 컨텍스트를 기준으로 계산합니다. 파라미터 × 4.5비트 ÷ 8에 컨텍스트와 실행용으로 10 %와 2 GB를 더했습니다. Mac은 기본적으로 메모리의 약 67 %(36 GB 이하) 또는 75 %(36 GB 초과)를 GPU에 할당하며, 이 한도는 올릴 수 있습니다. 추정치이며 실제 사용량은 소프트웨어와 컨텍스트 길이에 따라 달라집니다. 저희 256 GB Mac Studio(macOS 27.2.1)의 GPU 한도는 240 GB이며, 계산기는 256 GB에 이 값을 사용합니다.

모델 데이터: Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.

계산기가 메모리를 추정하는 방법

언어 모델에는 세 가지를 위한 메모리가 필요합니다. 가중치, 처리 중인 컨텍스트, 그리고 실행 자체입니다. 계산기는 이를 다음과 같이 더합니다.

가중치

4비트 양자화에서는 각 파라미터가 스케일 계수를 포함해 약 4.5비트를 차지하므로, 파라미터 10억 개당 약 0.56 GB입니다. 따라서 70B 모델은 가중치만으로 약 39 GB, 120B 모델은 약 66 GB가 필요합니다.

컨텍스트와 KV 캐시

모델은 컨텍스트의 각 토큰에 대해 키와 값을 메모리에 저장하는데, 이를 KV 캐시라고 합니다. 차지하는 양은 모델 구조에 따라 다르며 컨텍스트가 길어질수록 늘어납니다. 계산기는 가중치에 10%와 2 GB를 더하며, 대부분의 모델에서 약 3만 2천 토큰까지의 컨텍스트를 감당할 수 있습니다. 훨씬 긴 컨텍스트라면 더 많이 잡아 두세요.

Mac이 메모리를 모두 모델에 주지 않는 이유

Apple Silicon에서는 CPU와 GPU가 하나의 통합 메모리를 공유하며, macOS가 일부를 시스템용으로 남겨 둡니다. GPU가 기본적으로 쓸 수 있는 양은 Mac과 macOS 버전에 따라 다릅니다. 저희 256 GB Mac Studio(macOS 27.2.1)에서는 Metal이 240 GB, 즉 16 GB를 뺀 전부를 보고했으며, 224 GB 모델이 아무 설정도 바꾸지 않고 실행되었습니다. 이전 macOS 버전과 더 작은 Mac은 보통 약 3분의 2에서 4분의 3만 허용했으므로, 계산기는 이런 경우에 이 보수적인 규칙을 그대로 씁니다. 이 한도는 iogpu.wired_limit_mb 설정으로 올릴 수 있지만, 그만큼 시스템과 다른 앱이 쓸 메모리가 줄어듭니다. 그래서 계산기는 „한도 상향 시 가능“ 상태를 따로 보여 줍니다.

4비트, 8비트, 16비트

8비트 양자화는 4비트의 약 2배, 16비트(BF16)는 약 4배의 메모리가 필요합니다. 로컬 실행에서는 4비트가 일반적인 절충안으로, 대부분의 모델에서 품질 손실이 작고 4비트 미만에서는 더 빠르게 커집니다. 자세한 내용은 언어 모델에 필요한 메모리에 관한 글을 참고하세요.

추정과 실측

모델	계산기 추정	실측 최대	들어가는 가장 작은 Mac
Qwen3 30B-A3B	20.9 GB	18.7 GB	32 GB
Llama 3.3 70B	45.7 GB	43.3 GB	64 GB
gpt-oss-120b	74.4 GB	64.5 GB	128 GB

2026년 11월 11일 Mac Studio M5 Ultra에서 mlx-lm 0.32.2와 8,192토큰 프롬프트로 측정했습니다. gpt-oss-120b는 계산기가 가정하는 4.5비트보다 조금 작은 MXFP4 형식을 사용합니다.

추정치는 일부러 여유 있게 잡았습니다. 저희 측정에서는 세 모델 모두 조금 적게 사용했습니다. 큰 Mac이 한동안만 필요하다면 Mac Studio M5 Ultra 대여와 구매를 비교해 보세요. Qwen3.5 397B의 경우 계산기는 추정치 대신 32k 컨텍스트에서 저희가 측정한 최대치(227.5 GB)를 사용합니다. 이 모델 테스트를 참고하세요.