2026年11月12日 · Jakub M.

单台 Mac Studio M5 Ultra 运行 Qwen3.5 397B：224 GB，每秒 62 个 token

3970 亿参数的模型在 4 位量化下约占 224 GB。我们在一台 256 GB 的 Mac Studio M5 Ultra 上运行它：每秒生成约 62 个 token，能处理 12.8 万 token 的上下文，而且无需更改任何 macOS 设置。

此前我们测试过的最大模型是约 133 GB 的 Qwen3 235B。这次我们挑战 Mac 内存的极限：Qwen3.5 397B-A17B 是一个拥有 3970 亿参数的 mixture-of-experts 模型，每个 token 约有 170 亿参数参与计算。4 位 MLX 格式下约占 224 GB。

测试方法

• 硬件：配备 Apple M5 Ultra（36 核 CPU、80 核 GPU）和 256 GB 统一内存的 Mac Studio，macOS 27.2.1。
• 软件：Python 3.12、MLX 0.32.4、mlx-lm 0.32.2，模型为 mlx-community/Qwen3.5-397B-A17B-4bit。
• 测试：使用内置工具 mlx_lm.benchmark，提示词由固定随机种子生成的随机 token 组成，每次测量前先预热一次。512 和 8,192 token 的提示词各生成 128 个 token（分别运行 3 次和 2 次），之后用更长的提示词直到 131,072 token，各生成 64 个 token（各运行 1 次）。

结果

Qwen3.5 397B-A17B，4 位 MLX（mlx-community），mlx-lm 0.32.2，macOS 27.2.1，测量于 2026 年 11 月 12 日。512 和 8,192 token：生成 128 个 token，分别取 3 次和 2 次平均；更长的提示词：生成 64 个 token，测量 1 次。512 token 提示词的处理速度各次之间有波动（每秒 141 至 195 个 token）。

无需更改设置

我们原以为在默认设置下模型放不下。较旧的 macOS 只让 GPU 使用约四分之三的内存，在 256 GB 的 Mac 上约为 192 GB。但在我们运行 macOS 27.2.1 的 Mac 上，Metal 报告的推荐上限为 240 GB（2577 亿字节），即除 16 GB 外的全部内存。模型在默认设置下的速度与手动设置上限时相同，交换空间始终低于 45 MB，macOS 全程报告内存压力正常。我们的另一台 256 GB Mac 也测得同样的 240 GB。我们也据此更新了 RAM 计算器。

这对租用者很重要：他们没有管理员权限，无法自行提高上限。在这些 Mac 上也不需要这样做。

长上下文几乎不增加内存

从 512 token 到 131,072 token 的提示词，内存峰值只增加了约 6 GB，从 224.3 GB 增至 230.6 GB。即使在最长的上下文下，系统仍有超过 25 GB 的可用内存。不过速度会随上下文增长而下降：生成速度从每秒 62 个 token 降到 44 个，依然是舒适的阅读速度。

更大，却更快

在我们 10 月的测试中，Qwen3 235B 在空上下文时每秒生成 46 个 token，16,384 token 提示词时为 33 个。Qwen3.5 397B 的规模几乎是它的两倍，但在类似条件下每秒生成约 62 和 58 个 token。原因是每个 token 的活跃参数更少：约 170 亿，而不是 220 亿。10 月的测试使用较旧的软件版本和略有不同的方法，因此对比仅供参考。

功耗

测试期间芯片（CPU 和 GPU）的最高功耗约为 104 W，使用 powermetrics 以 2 秒间隔测量。由于测量还包含模型加载和暂停时间，我们不给出平均值。

测试的局限

我们在一台 Mac 上以单个请求测量了一个模型。随机 token 组成的提示词只能反映纯粹的速度；在真实任务中速度可能不同。本测试不衡量回答质量，4 位版本的回答可能略逊于完整模型。

亲自试试

如果想运行这种规模的模型，又不想花 12,000 多欧元买一台 Mac，可以租用 256 GB 的 Mac Studio M5 Ultra，最短一天起租。

申请租用 性能

← 全部文章