2026년 11월 12일 · Jakub M.

Mac Studio M5 Ultra 한 대로 Qwen3.5 397B: 224 GB, 초당 62토큰

파라미터 3,970억 개의 모델은 4비트에서 약 224 GB를 차지합니다. 256 GB Mac Studio M5 Ultra 한 대에서 실행한 결과, 초당 약 62토큰을 생성했고 12만 8천 토큰의 컨텍스트도 처리했으며 macOS 설정은 전혀 바꿀 필요가 없었습니다.

지금까지 저희의 가장 큰 테스트는 약 133 GB인 Qwen3 235B였습니다. 이번에는 Mac 메모리의 한계까지 가 봤습니다. Qwen3.5 397B-A17B는 파라미터 3,970억 개의 mixture-of-experts 모델로, 토큰마다 약 170억 개가 동작합니다. 4비트 MLX 형식으로 약 224 GB입니다.

측정 방법

하드웨어: Apple M5 Ultra(36코어 CPU, 80코어 GPU)와 256 GB 통합 메모리를 갖춘 Mac Studio, macOS 27.2.1.
소프트웨어: Python 3.12, MLX 0.32.4, mlx-lm 0.32.2, 모델 mlx-community/Qwen3.5-397B-A17B-4bit.
테스트: 내장 도구 mlx_lm.benchmark, 고정 시드의 무작위 토큰 프롬프트, 측정 전 워밍업 실행. 512 및 8,192토큰 프롬프트에서 128토큰 생성(3회, 2회), 이어서 131,072토큰까지 더 긴 프롬프트에서 64토큰 생성(각 1회).

결과

프롬프트(토큰)	프롬프트 처리(토큰/초)	생성(토큰/초)	최대 메모리
512	159	61.6	224.3 GB
8,192	1,265	59.9	226.8 GB
16,384	1,432	58.3	227.0 GB
32,768	1,500	55.1	227.5 GB
65,536	1,345	50.3	228.5 GB
131,072	1,080	44.1	230.6 GB

Qwen3.5 397B-A17B, 4비트 MLX(mlx-community), mlx-lm 0.32.2, macOS 27.2.1, 2026년 11월 12일 측정. 512 및 8,192토큰: 128토큰 생성, 3회와 2회 평균; 더 긴 프롬프트: 64토큰 생성, 1회 측정. 512토큰 프롬프트 처리 속도는 회차마다 달랐습니다(초당 141~195토큰).

설정 변경이 필요 없음

기본 설정에서는 모델이 들어가지 않을 것으로 예상했습니다. 이전 macOS는 GPU가 메모리의 약 4분의 3만 쓰도록 했으므로 256 GB Mac에서는 약 192 GB입니다. 그런데 macOS 27.2.1을 쓰는 저희 Mac에서 Metal이 보고한 권장 한도는 240 GB(2,577억 바이트), 즉 16 GB를 제외한 전부였습니다. 모델은 기본 설정에서도 한도를 직접 설정했을 때와 같은 속도로 실행되었고, 스왑은 45 MB 미만, macOS는 내내 정상적인 메모리 압박을 보고했습니다. 두 번째 256 GB Mac에서도 같은 240 GB가 나왔습니다. 이에 맞춰 RAM 계산기도 업데이트했습니다.

대여 이용자에게 중요한 점입니다. 관리자 권한이 없어 직접 한도를 올릴 수 없지만, 이 Mac에서는 그럴 필요가 없습니다.

긴 컨텍스트도 메모리가 거의 늘지 않음

512토큰부터 131,072토큰 프롬프트까지 최대 메모리는 약 6 GB만 늘었습니다(224.3 GB → 230.6 GB). 가장 긴 컨텍스트에서도 시스템용으로 25 GB 넘게 남았습니다. 다만 컨텍스트가 길어지면 속도는 떨어져, 생성 속도가 초당 62토큰에서 44토큰이 되었습니다. 그래도 읽기에는 충분히 편한 속도입니다.

더 크지만 더 빠름

10월 테스트에서 Qwen3 235B는 빈 컨텍스트에서 초당 46토큰, 16,384토큰 프롬프트에서 33토큰을 생성했습니다. Qwen3.5 397B는 거의 두 배 크지만 비슷한 조건에서 초당 약 62토큰과 58토큰을 생성합니다. 토큰당 활성 파라미터가 220억 개 대신 약 170억 개로 더 적기 때문입니다. 10월 테스트는 이전 소프트웨어 버전과 약간 다른 방법을 사용했으므로 비교는 참고용으로 보세요.

소비 전력

테스트 중 칩(CPU와 GPU)의 소비 전력은 최대 약 104 W였습니다(powermetrics, 2초 간격). 측정에 모델 로딩과 대기 시간도 포함되어 평균값은 제시하지 않습니다.

테스트의 한계

Mac 한 대에서 모델 하나를 단일 요청으로 측정했습니다. 무작위 토큰 프롬프트는 순수한 속도 수치만 보여 주며, 실제 작업에서는 속도가 다를 수 있습니다. 이 테스트는 답변 품질을 측정하지 않으며, 4비트 버전은 전체 모델보다 답변이 조금 떨어질 수 있습니다.

직접 해 보세요

12,000유로가 넘는 Mac을 사지 않고 이 정도 크기의 모델을 실행하고 싶다면 256 GB Mac Studio M5 Ultra를 하루부터 대여할 수 있습니다.

대여 문의하기 성능