2026년 10월 26일 · Jakub M.

Mac Studio M5 Ultra 테스트: 초당 46토큰의 Qwen3 235B와 빠른 프롬프트 읽기

체코의 IT 웹사이트 Vše Smart가 256 GB Mac Studio M5 Ultra를 llama.cpp와 MLX에서 언어 모델 5개로 테스트했습니다. 가장 큰 Qwen3 235B는 메모리 133 GB를 사용하며 초당 46토큰을 생성했습니다. 대형 모델을 돌리려는 분께 이 결과가 무엇을 의미하는지 정리했습니다.

출처: Mac Studio M5 Ultra v testu: Qwen3 235B a rychlost čtení promptů, Ludvík Eckerman, Vše Smart, 2026년 10월 26일(체코어). 아래의 모든 수치는 이 기사에서 가져왔습니다.

체코 웹사이트 Vše Smart가 M5 Ultra 칩을 탑재한 Mac Studio의 상세 테스트를 공개했습니다. 저희가 대여하는 것과 같은 구성인 80코어 GPU, 256 GB 통합 메모리입니다. 이 테스트는 저희의 첫 벤치마크에서 다루지 않은 두 가지에 초점을 맞춥니다. Mac이 긴 프롬프트를 얼마나 빨리 읽는지, 그리고 128 GB 장비에는 너무 큰 모델입니다.

Vše Smart의 테스트 방법

하드웨어: Mac Studio M5 Ultra(80코어 GPU), 256 GB, macOS 27.0.1, 다른 앱은 실행하지 않음.
소프트웨어: 모든 레이어를 GPU에 올린 llama.cpp, mlx-lm을 사용한 MLX 0.32. 전력과 온도는 macmon으로 기록.
모델: Qwen3 8B, Qwen3 30B-A3B, Llama 3.3 70B, gpt-oss-120b, Qwen3 235B-A22B, 모두 4비트(gpt-oss는 MXFP4). Qwen3 235B는 MLX에서만.
테스트: 512, 4,096, 16,384토큰 프롬프트와 128토큰 생성, 그리고 10분간 연속 부하. 2026년 10월 24일 측정.

결과

모델	메모리	생성, llama.cpp	생성, MLX	프롬프트 4k, llama.cpp	프롬프트 4k, MLX
Qwen3 8B	≈ 5 GB	149	176	4,205	6,360
Qwen3 30B-A3B	≈ 18 GB	172	159	4,535	9,870
Llama 3.3 70B	≈ 42 GB	23	25	509	716
gpt-oss-120b	≈ 63 GB	142	130	3,387	6,538
Qwen3 235B-A22B	≈ 133 GB	–	46	–	1,656

빈 컨텍스트에서의 초당 토큰 수: 128토큰 생성과 4,096토큰 프롬프트 읽기. Qwen3 235B는 MLX에서만 테스트했습니다. 출처: Vše Smart, 2026년 10월 24일 측정.

MLX는 프롬프트를 최대 두 배 빨리 읽는다

모델은 첫 단어를 쓰기 전에 요약하려는 문서 같은 프롬프트 전체를 읽어야 합니다. Vše Smart에 따르면 MLX는 모든 모델에서 llama.cpp보다 프롬프트를 1.4~2.2배 빨리 읽었고, 차이는 Qwen3 30B-A3B에서 가장 컸습니다. MLX의 gpt-oss-120b는 4,000토큰 문서를 1초도 훨씬 안 걸려 읽습니다. 생성에서는 어느 프레임워크도 확실히 앞서지 않았으므로, 직접 쓰는 모델로 둘 다 시험해 보는 것이 좋습니다.

긴 컨텍스트

모델	생성	프롬프트 읽기
Qwen3 8B	121	5,240
Qwen3 30B-A3B	115	6,822
Llama 3.3 70B	22	650
gpt-oss-120b	114	6,332
Qwen3 235B-A22B	33	1,289

MLX, 16,384토큰 프롬프트 후 128토큰 생성, 초당 토큰 수. 출처: Vše Smart.

16,384토큰 프롬프트에서는 MLX의 생성 속도가 모델에 따라 약 12~31퍼센트 느려졌습니다.

Qwen3 235B에는 128 GB 이상이 필요하다

가장 큰 모델은 약 133 GB의 메모리를 사용하며 초당 약 46토큰을 생성했습니다. 대부분의 사람이 읽는 속도보다 빠릅니다. 128 GB Mac에는 들어가지 않으며, 바로 이 지점에서 256 GB 구성이 차이를 만듭니다.

온도, 전력, 그리고 M3 Ultra

GPU는 최고 87 °C까지 올랐고, 칩은 프롬프트를 읽는 동안 최대 215 W를 소비했습니다. 팬은 최대치의 62퍼센트인 2,265 rpm까지 올라갔고, 10분간 연속 부하에서도 스로틀링은 관찰되지 않았습니다. Llama 2 7B(Q4_0)를 사용한 llama.cpp 표준 테스트에서 기사는 M5 Ultra가 M3 Ultra보다 프롬프트를 약 3.5배 빨리 읽고 약 두 배 빨리 생성한다고 추정합니다. 저자는 M3 Ultra 수치가 이전 버전으로 측정된 llama.cpp 커뮤니티 표에서 나온 것이므로 대략적인 비교라고 밝힙니다.

기사에서 밝히듯 이 테스트는 답변 품질이 아닌 속도를 측정하며, 4비트 양자화와 단일 요청만 사용하고, 시스템 전체가 아닌 칩 전력을 보고합니다.

직접 실행해 보세요

256 GB Mac Studio M5 Ultra를 대여해 하루부터 직접 모델을 테스트할 수 있습니다. 장시간 부하에서 어떻게 동작하는지는 저희의 1시간 부하 테스트에서 볼 수 있습니다.

대여 문의하기 성능