KO
2026년 10월 15일 · Jakub M.
256 GB Mac Studio M5 Ultra와 로컬 AI: 모델 6개를 측정했습니다
M5 Ultra와 256 GB 통합 메모리를 갖춘 Mac Studio는 실제로 초당 몇 토큰을 낼까요? 90억~1,200억 파라미터의 인기 오픈 모델 6개를 빈 컨텍스트와 긴 컨텍스트로 실행하고 메모리 사용량도 기록했습니다.
로컬 언어 모델용 Apple Silicon 벤치마크는 대개 모델 하나에 숫자 하나만 보여 주고 어떻게 얻었는지는 말하지 않습니다. 저희는 완전하고 재현 가능한 수치를 원했기에 모든 모델을 같은 방식으로 측정하고 방법을 기록했습니다.
측정 환경과 방법
- 하드웨어: Apple M5 Ultra, 256 GB 통합 메모리, 4 TB SSD를 갖춘 Mac Studio. 저희가 대여하는 바로 그 장비입니다.
- 소프트웨어: macOS 27.0.1, Python 3.12, Apple MLX 프레임워크 기반의 mlx-lm 0.32.
- 모델: Hugging Face의 mlx-community가 변환한 4비트 양자화 MLX 모델. gpt-oss 모델은 전문가 가중치에 MXFP4를 사용하고(‘MXFP4-Q8’ 버전), Gemma 4 31B는 QAT 4비트 버전입니다.
- 테스트: 프롬프트 512토큰 후 128토큰 생성, 컨텍스트에 이미 0, 8,192, 32,768토큰이 있는 상태. 빈 컨텍스트는 2회 실행해 평균을 냈고, 긴 컨텍스트는 1회 실행했습니다. 프롬프트는 무작위 토큰으로 구성했습니다. 실제 프롬프트와 더 긴 답변에서는 속도가 다를 수 있습니다.
- 메모리: 테스트 중 MLX가 보고한 최대값으로, 모델 가중치와 컨텍스트 캐시를 포함합니다.
결과
| 모델 | 유형 | 크기 | 생성, 빈 컨텍스트 | 생성, 8k | 생성, 32k | 메모리, 빈 컨텍스트 | 메모리, 32k |
|---|---|---|---|---|---|---|---|
| Qwen3.5 9B | dense | 6.0 GB | 167 | 161 | 141 | 5.5 GB | 7.4 GB |
| gpt-oss-20b | MoE | 12.1 GB | 184 | 172 | 145 | 11.7 GB | 12.8 GB |
| Qwen3.5 27B | dense | 16.1 GB | 55 | 53 | 48 | 15.3 GB | 18.8 GB |
| Gemma 4 31B | dense | 28.8 GB | 31 | 27 | 21 | 26.6 GB | 31.5 GB |
| Qwen3.5 35B-A3B | MoE | 20.4 GB | 162 | 154 | 141 | 18.8 GB | 20.6 GB |
| gpt-oss-120b | MoE | 63.4 GB | 120 | 113 | 96 | 59.5 GB | 61.0 GB |
생성 속도(초당 토큰 수). ‘빈 컨텍스트’, ‘8k’, ‘32k’는 컨텍스트에 이미 들어 있는 토큰 수입니다. 메모리는 MLX가 보고한 최대값입니다. 명시된 조건에서 측정한 결과이며 보장이 아닙니다. 실제 속도는 모델, 양자화, 컨텍스트 길이, 소프트웨어 구성, 작업량에 따라 달라집니다.
수치가 말해 주는 것
mixture of experts 모델이 훨씬 빠르다
테스트에서 가장 빠른 모델은 가장 작은 모델이 아닙니다. gpt-oss-20b는 초당 184토큰을 생성하고, gpt-oss-120b도 120토큰에 이릅니다. 둘 다 mixture of experts(MoE) 모델로, 토큰마다 파라미터의 일부만 사용합니다. OpenAI에 따르면 gpt-oss-20b는 약 36억 개, gpt-oss-120b는 51억 개입니다. Qwen3.5 35B-A3B도 같은 방식으로 약 30억 개의 활성 파라미터를 써서 초당 162토큰을 냅니다.
dense 모델은 토큰마다 모든 파라미터를 쓰므로 더 느립니다. Qwen3.5 27B는 초당 55토큰, Gemma 4 31B는 31토큰입니다. 테스트에서 가장 느린 모델도 초당 31토큰으로 대부분의 사람이 읽는 것보다 빨리 씁니다.
긴 컨텍스트는 12~32퍼센트의 비용
컨텍스트에 이미 32,768토큰이 있으면 대부분의 모델에서 생성이 12~21퍼센트 느려졌습니다. 가장 많이 느려진 것은 Gemma 4 31B로, 초당 31토큰에서 21토큰으로 약 3분의 1이 줄었습니다. 긴 문서나 큰 코드베이스로 작업한다면 이 열을 보세요.
256 GB는 여유가 많다
테스트한 가장 큰 모델 gpt-oss-120b는 32k 컨텍스트를 포함해 61 GB가 필요했는데, 메모리의 4분의 1도 안 됩니다. 저희 계산으로는 나머지로 훨씬 큰 모델도 충분합니다. 예를 들어 Qwen3.5 122B-A10B(4비트로 약 70 GB)나, 4비트 파일이 224 GB인 Qwen3.5 397B-A17B까지도 가능합니다. 이 모델들은 아직 테스트하지 않았으며, 컨텍스트와 시스템도 메모리가 필요합니다. 또한 답변용 큰 모델과 빠른 라우팅이나 임베딩용 작은 모델처럼 여러 모델을 나란히 실행할 수도 있습니다.
측정하지 않은 것
- 프롬프트 처리 속도. 512토큰의 짧은 테스트로는 모델에 따라 초당 약 500~5,000토큰으로 결과가 들쭉날쭉했습니다. 프롬프트 읽기가 생성보다 몇 배 빠르다고 말하기에는 충분하지만 정확한 수치로는 부족합니다. 더 긴 측정을 추가할 예정입니다.
- 다른 런타임. MLX만 사용했습니다. llama.cpp, Ollama, LM Studio의 GGUF 모델은 결과가 다를 수 있습니다.
- 답변 품질, 전력, 가장 큰 모델들(122B, 397B). 다음 측정 목록에 올라 있습니다.
직접 작업으로 시험해 보세요
다른 사람의 테스트 수치로는 장비가 내 작업에 맞는지 완전히 알 수 없습니다. 그래서 저희는 바로 이 Mac Studio를 하루부터 SSH나 원격 데스크톱으로 대여합니다. 구매를 고민 중이라면 먼저 직접 모델과 데이터로 시험해 볼 수 있습니다.