苹果 MLX 联合 RDMA 技术，在 Mac Studio 集群上本地运行近万亿参数大模型

苹果机器学习研究团队于 2026 年 10 月 15 日发布博文，介绍如何利用最新版 MLX 框架在 Mac Studio 上本地运行前沿大语言模型。MLX 是一个开源数组框架，充分利用 Apple Silicon 的统一内存架构，让研究者和开发者无需依赖云端即可在自有硬件上进行推理与微调实验，同时保障数据隐私。

本次评测涵盖三款主流开权重模型：Muse Spark Open（816B 参数，混合专家架构，以 NVFP4 精度评估）、Mistral Medium 3.5（128B 参数，密集架构，FP8 精度）以及 Qwen 3.8（27B 参数，密集架构，BF16 精度）。评测指标包括首字延迟（TTFT）、解码吞吐量（token/s）和峰值功耗，上下文长度覆盖 8,192 与 65,536 两种规格，以模拟智能体编程等大上下文场景。

在单台 Mac Studio 的测试中，M5 Ultra 的 GPU 神经加速器对计算密集型的 TTFT 指标带来显著提升，在 65,536 token 上下文下最高比 M3 Ultra 快 4.6 倍。解码速度受内存带宽制约，M5 Ultra 提供 1.2 TB/s 的统一内存带宽（M3 Ultra 为 819 GB/s），解码吞吐量因此提升约 1.6 倍。Qwen 3.8 与 Mistral Medium 3.5 均可在单台 512GB 内存的 Mac Studio 上舒适运行。

Muse Spark Open 以原生 BF16 精度存储时，仅模型参数就需要超过 1.6TB 内存，单台机器无法承载。经 4-bit NVFP4 量化后，模型内存占用降至约 493GB，但加上推理中间计算所需内存，仍需跨多台 Mac Studio 进行并行推理。苹果团队通过 RDMA over Thunderbolt 驱动实现机器间高速互联，支持流水线并行与张量并行两种方案。

在四台 Mac Studio 组成的张量并行集群上，Muse Spark Open 的解码速度超过每秒 36 个 token，远高于人类平均阅读速度。相比之下，两台机器的流水线并行方案速度较低，而两台机器的张量并行方案则介于两者之间。这一结果表明，张量并行在多机扩展时具有更好的吞吐量表现。

能耗方面，Mac Studio 展现出显著优势：M3 Ultra 峰值功耗约 200W，M5 Ultra 约 300W，均远低于数据中心 GPU 服务器的典型功耗水平。这意味着整套本地大模型推理方案可以在普通家庭或办公室环境中部署，无需专用机房或额外散热设施，为隐私优先的 AI 应用场景提供了切实可行的落地路径。

要点

• 四台 Mac Studio M5 Ultra 组成的张量并行集群，可在本地以每秒逾 36 token 的速度运行近万亿参数的 Muse Spark Open 模型
• M5 Ultra 的 GPU 神经加速器在大上下文首字延迟上比 M3 Ultra 最高提速 4.6 倍，1.2 TB/s 统一内存带宽使解码吞吐量提升约 1.6 倍
• RDMA over Thunderbolt 驱动支持多台 Mac Studio 高速互联，实现流水线并行与张量并行两种分布式推理方案
• Mac Studio 峰值功耗仅 200-300W，可在家庭或办公室环境中部署大模型推理，兼顾隐私与能效
• 4-bit NVFP4 量化将 Muse Spark Open 的内存占用从超过 1.6TB 压缩至约 493GB，是实现多机分布式推理的关键前提