2026年11月12日 · Jakub M.

Qwen3.5 397BをMac Studio M5 Ultra 1台で：224GB、毎秒62トークン

3,970億パラメータのモデルは4ビットで約224GBになります。256GBのMac Studio M5 Ultra 1台で動かしたところ、毎秒約62トークンを生成し、12万8千トークンのコンテキストにも対応し、macOSの設定変更も不要でした。

これまでで最大のテストは約133GBのQwen3 235Bでした。今回はMacのメモリの限界まで挑戦しました。Qwen3.5 397B-A17Bは3,970億パラメータのmixture-of-expertsモデルで、各トークンで動くのは約170億パラメータです。4ビットのMLX形式で約224GBになります。

測定方法

• ハードウェア：Apple M5 Ultra（36コアCPU、80コアGPU）と256GBのユニファイドメモリを搭載したMac Studio、macOS 27.2.1。
• ソフトウェア：Python 3.12、MLX 0.32.4、mlx-lm 0.32.2、モデルはmlx-community/Qwen3.5-397B-A17B-4bit。
• テスト：内蔵ツールmlx_lm.benchmarkを使用し、固定シードのランダムなトークンをプロンプトとし、各測定の前にウォームアップを実行。512と8,192トークンのプロンプトで128トークンを生成（3回と2回）、その後131,072トークンまでの長いプロンプトで64トークンを生成（各1回）。

結果

Qwen3.5 397B-A17B、4ビットMLX（mlx-community）、mlx-lm 0.32.2、macOS 27.2.1、2026年11月12日測定。512と8,192トークン：128トークン生成、3回と2回の平均。それ以上のプロンプト：64トークン生成、1回測定。512トークンのプロンプト処理は回ごとにばらつきがありました（毎秒141〜195トークン）。

設定の変更は不要

標準設定ではモデルが収まらないと予想していました。以前のmacOSではGPUが使えるのはメモリの約4分の3で、256GBのMacなら約192GBです。しかしmacOS 27.2.1の当社のMacでは、Metalが報告する推奨上限は240GB（2,577億バイト）、つまり16GBを除くすべてでした。モデルは標準設定でも、上限を手動で設定した場合と同じ速度で動き、スワップは45MB未満、macOSは終始メモリ圧迫が通常であると報告しました。もう1台の256GBのMacでも同じ240GBでした。これに合わせてRAM計算ツールも更新しました。

レンタル利用者にとって重要な点です。管理者権限がないため自分で上限を引き上げることはできませんが、このMacではその必要がありません。

長いコンテキストでもメモリはほとんど増えない

512トークンから131,072トークンのプロンプトまで、ピークメモリの増加は約6GB（224.3GBから230.6GB）だけでした。最長のコンテキストでも、システム用に25GB以上が空いていました。一方、コンテキストが長くなると速度は下がり、生成は毎秒62トークンから44トークンになりましたが、読む速さとしては十分快適です。

大きいのに速い

10月のテストでは、Qwen3 235Bは空のコンテキストで毎秒46トークン、16,384トークンのプロンプトで毎秒33トークンでした。Qwen3.5 397Bはほぼ2倍の大きさにもかかわらず、同様の条件で毎秒約62トークンと58トークンを生成します。理由はトークンあたりの有効パラメータが約170億と、220億より少ないためです。10月のテストは古いソフトウェアとやや異なる方法で行ったため、比較は目安としてご覧ください。

消費電力

テスト中のチップ（CPUとGPU）の消費電力は最大約104Wでした（powermetrics、2秒間隔）。測定にはモデルの読み込みや待ち時間も含まれるため、平均値は記載していません。

テストの限界

1台のMacで1つのモデルを単一リクエストで測定しました。ランダムなトークンのプロンプトで得られるのは純粋な速度の数値で、実際の作業では速度が変わる可能性があります。回答の品質は測定しておらず、4ビット版はフルモデルより回答がやや劣る場合があります。

ご自身で試す

12,000ユーロを超えるMacを購入せずにこの規模のモデルを動かしたい場合は、256GBのMac Studio M5 Ultraを1日からレンタルできます。

レンタルを申し込む パフォーマンス

← 記事一覧