2026년 10월 16일 · Jakub M.

Mac Studio M5 Ultra의 AI 모델 15개: 실제로 초당 몇 토큰이 나올까

체코의 IT 웹사이트 Vše Smart가 M5 Ultra와 256 GB 메모리를 갖춘 Mac Studio에서 로컬 언어 모델 32개를 실행했습니다. 그중 작은 Qwen3 4B부터 1,230억 파라미터의 Mistral Large까지 15개를 골라, 수치가 일상 업무에 어떤 의미인지 살펴봤습니다.

로컬 모델 속도 비교는 대개 두세 개 이름에서 끝납니다. Vše Smart 팀은 256 GB 통합 메모리의 Mac Studio M5 Ultra에서 32개 모델을 각각 11번씩 측정했습니다. 그 결과에서 작은 모델과 큰 모델, dense와 mixture of experts를 고루 아우르는 15개 모델을 골랐습니다.

측정 방법

모델은 간단한 Python 스크립트로 제어하는 Ollama에서 실행했습니다. 모든 모델에 현대 자동차 제작 방식에 관한 긴 기술 문서를 쓰는 같은 과제를 주었고, 출력 2,000토큰 제한, 온도 0, 컨텍스트 8,192토큰으로 설정했습니다. 각 모델의 첫 실행은 워밍업으로 버리고 다음 10회의 평균을 결과로 삼았습니다. 모델 사이에는 30초씩 쉬었습니다.

전체 테스트는 4시간 넘게 걸렸고, 모델들이 생성한 토큰은 70만 개가 넘습니다. 속도만 측정했으며 답변 품질은 평가하지 않았습니다.

결과

모델	유형	생성 속도
Qwen3 4B	dense	203.3 tok/s
Qwen3 30B-A3B	MoE, 활성 3B	170.1 tok/s
gpt-oss-20b	MoE, 활성 3.6B	169.3 tok/s
Qwen3.5 35B-A3B	MoE, 활성 3B	144.9 tok/s
Qwen3.5 9B	dense	126.6 tok/s
gpt-oss-120b	MoE, 활성 5.1B	115.2 tok/s
Gemma 4 26B-A4B	MoE, 활성 4B	111.7 tok/s
Qwen3-Next 80B-A3B	MoE, 활성 3B	94.5 tok/s
Qwen3.5 122B-A10B	MoE, 활성 10B	84.8 tok/s
Llama 4 Scout	MoE, 활성 17B	63.3 tok/s
Mistral Small 3.2 24B	dense	62.2 tok/s
Qwen3.5 27B	dense	48.4 tok/s
Gemma 4 31B	dense	39.8 tok/s
Llama 3.3 70B	dense	22.6 tok/s
Mistral Large 123B	dense	13.7 tok/s

Ollama에서 10회 실행한 평균, 출력 2,000토큰, 컨텍스트 8k. MoE = mixture of experts이며, ‘활성’은 토큰마다 사용되는 파라미터 수입니다. 데이터: Vše Smart. Ollama 결과는 저희 MLX 측정과 직접 비교할 수 없습니다. 명시된 조건에서 측정한 결과이며 보장이 아닙니다. 실제 속도는 모델, 양자화, 컨텍스트 길이, 소프트웨어 구성, 작업량에 따라 달라집니다.

크기로는 속도를 알 수 없다

가장 분명한 예는 gpt-oss-120b 대 Llama 3.3 70B입니다. OpenAI 모델은 파라미터가 더 많지만(1,170억 대 700억) 다섯 배 빨리 씁니다. 초당 115토큰 대 23토큰입니다. 차이는 구조에 있습니다. gpt-oss-120b는 mixture of experts 모델로 토큰마다 약 50억 개의 파라미터만 사용합니다. Llama 3.3은 dense 모델이라 매번 700억 개 전부를 처리합니다.

Qwen도 마찬가지입니다. 활성 파라미터가 100억 개인 122B-A10B 버전은 초당 85토큰, 4분의 1 크기의 dense 모델 Qwen3.5 27B는 48토큰입니다. 속도가 중요하다면 총 크기보다 활성 파라미터가 대개 더 많은 것을 알려 주지만, 구조, 양자화, 소프트웨어도 영향을 줍니다.

얼마나 빨라야 충분할까

일반 채팅에서는 초당 약 20토큰이면 대개 매끄럽게 느껴집니다. 표의 15개 모델 중 그보다 느린 것은 초당 14토큰의 Mistral Large뿐입니다. 밤새 문서를 처리하는 것처럼 누군가 앉아서 기다리지 않는 작업에는 여전히 유용합니다.

코딩 어시스턴트가 긴 코드 블록을 쓸 때는 속도가 훨씬 중요합니다. 이때는 gpt-oss-120b, Qwen3-Next 80B, Qwen3.5 122B처럼 초당 80토큰이 넘는 모델이 적합합니다.

저희 측정과도 일치한다

같은 모델 몇 개를 저희 Mac Studio에서 Ollama 대신 MLX로, 약간 다른 방법으로 측정했습니다. 수치는 몇 퍼센트에서 수십 퍼센트까지 차이가 나지만 전체적인 그림은 같습니다. 저희 측정에서 gpt-oss-120b는 초당 120토큰(Vše Smart: 115), gpt-oss-20b는 184(169), Qwen3.5 27B는 55(48)였습니다. Gemma 4 31B는 다른 버전의 모델을 써서 저희 쪽이 31 대 40으로 더 느렸습니다. 자세한 내용은 저희 벤치마크 글에 있습니다.

직접 해 보세요

32개 모델 모두 256 GB 메모리에 여유 있게 들어갔습니다. 이런 장비 구매를 고민 중이거나 며칠만 그 성능이 필요하다면 저희 256 GB Mac Studio M5 Ultra를 대여할 수 있습니다.

데이터 출처: Vše Smart: 로컬 AI 모델 32개로 테스트한 Mac Studio M5 Ultra(Ludvík Eckerman, 2026년 10월 5일, 체코어).

대여 문의하기 성능