KO
2026년 11월 3일 · Jakub M.
128 GB MacBook Pro M5 Max: 노트북으로 로컬 AI를 어디까지 돌릴 수 있을까
Vše Smart가 128 GB MacBook Pro M5 Max에서 80억~1,200억 파라미터의 오픈 모델 6개를 실행했습니다. 시스템 설정을 바꾸지 않고도 모두 메모리에 들어갔고, gpt-oss-120b는 초당 110토큰을 생성했으며 칩 전력은 37~50 W에 불과했습니다. 다만 긴 컨텍스트와 대형 dense 모델에서는 노트북이 힘에 부칩니다.
출처: MacBook Pro M5 Max se 128 GB RAM v testu lokálních AI modelů, Ludvík Eckerman, Vše Smart, 2026년 11월 2일(체코어). 아래의 모든 수치는 이 기사에서 가져왔습니다.
노트북으로 본격적인 로컬 AI를 감당할 수 있을까요? 체코 웹사이트 Vše Smart가 M5 Max 칩(18코어 CPU, 40코어 GPU)과 대역폭 614 GB/s의 128 GB 통합 메모리를 갖춘 최상위 MacBook Pro를 테스트했습니다. 오픈 모델 6개, 추론 엔진 2개, 그리고 전력 소비까지 살펴봤습니다.
테스트 방법
- 시스템: macOS 27.2, 고성능 모드, 전원 연결, 기본 GPU 메모리 한도(약 107 GB).
- 소프트웨어: llama.cpp(build 11669, Metal), MLX 0.32.4와 mlx-lm 0.32.2.
- 모델: Llama 3.1 8B, gpt-oss-20b, Qwen3 30B-A3B, Qwen3 32B, Llama 3.3 70B, gpt-oss-120b, 4비트 양자화(gpt-oss는 기본 MXFP4).
- 방법: 컨텍스트 0~32,768토큰, 각각 3회 실행. 칩 전력은 powermetrics로 측정했고, Qwen3 30B-A3B로 10분간 연속 부하를 걸었습니다.
결과
| 모델 | 생성, llama.cpp | 생성, MLX | 32k 컨텍스트에서 생성(MLX) | 32k에서 첫 토큰(MLX) | 최대 메모리(MLX) | 칩 전력 | 와트당 토큰 |
|---|---|---|---|---|---|---|---|
| Llama 3.1 8B | 102 | 115 | 60 | 17 초 | 9.5 GB | 49.8 W | 2.02 |
| gpt-oss-20b | 156 | 142 | 105 | 7.5 초 | 13.7 GB | 48.5 W | 3.24 |
| Qwen3 30B-A3B | 155 | 152 | 72 | 15 초 | 21.1 GB | 41.1 W | 3.69 |
| Qwen3 32B | 26 | 28 | 18 | 72 초 | 27.8 GB | 48.3 W | 0.53 |
| Llama 3.3 70B | 12.5 | 13.6 | 10 | 132 초 | 51.3 GB | 40.5 W | 0.31 |
| gpt-oss-120b | 110 | 94 | 70 | 13.5 초 | 65.5 GB | 37.3 W | 2.92 |
생성 속도(초당 토큰 수), 4비트 모델(gpt-oss는 MXFP4), 별도 표기가 없으면 빈 컨텍스트. 칩 전력은 llama.cpp에서 생성 중 측정한 값으로 칩(CPU, GPU, Neural Engine)만 포함합니다. 출처: Vše Smart, 2026년 11월 2일 게재.
128 GB에 모두 들어간다
6개 모델 모두 메모리 한도를 올리지 않고 실행되었습니다. 가장 큰 gpt-oss-120b도 최대 65.5 GB를 사용해 여유가 충분했습니다. mixture of experts 구조 덕분에 llama.cpp에서 초당 110토큰을 생성합니다.
MoE는 빠르고, dense 모델은 고전한다
가장 빠른 모델은 토큰마다 파라미터의 일부만 사용하는 모델이었습니다. Qwen3 30B-A3B와 gpt-oss-20b는 초당 약 155토큰을 기록했습니다. dense 모델인 Llama 3.3 70B는 초당 12.5~13.6토큰이었고, 32,000토큰 컨텍스트에서는 약 10토큰으로 떨어졌으며 첫 토큰이 나오기까지 132초가 걸렸습니다. 대형 dense 모델로 긴 문서를 다루기에는 노트북이 한계에 다다릅니다.
효율적이고 안정적
생성 중 칩 전력은 37~50 W, 유휴 시 약 2.1 W였습니다. 가장 효율적인 모델은 와트당 3.69토큰의 Qwen3 30B-A3B였습니다. 10분간 연속 부하에서도 초당 약 152토큰을 유지했고 스로틀링 징후는 없었습니다. 수치는 노트북 전체가 아닌 칩만의 값이며, 전원을 연결한 상태에서 테스트했습니다.
128 GB로 부족할 때
MacBook Pro M5 Max는 약 100 GB까지의 모델에 훌륭한 휴대용 장비입니다. 약 133 GB가 필요한 Qwen3 235B 같은 더 큰 모델은 아예 들어가지 않으며, 70B급 dense 모델과 긴 컨텍스트에서는 느려집니다. 저희의 거인들의 대결에서 Mac Studio M5 Ultra는 이런 모델에서 2.5~2.8배 빨랐습니다.
기사에서 밝히듯 이 테스트는 답변 품질이 아니라 속도를 측정했습니다.
더 필요하신가요?
256 GB Mac Studio M5 Ultra를 대여해 하루부터 노트북에 들어가지 않는 모델을 실행해 보세요.