研究 / 官方
苹果发布首个三模态掩码扩散模型，统一文本、图像与音频生成
苹果机器学习研究团队在NeurIPS 2026上发表论文，提出首个从零开始预训练的三模态掩码扩散模型（Tri-Modal Masked Diffusion Models，MDM），可同时处理文本、图文和音文三类数据。与此前基于单模态模型微调的双模态方案不同，该研究对多模态扩展规律、模态混合比例、噪声调度及批量大小效应进行了系统性分析，并给出优化后的推理采样默认配置。研究团队还推导出一种基于随机微分方程的重参数化方法，将物理批量大小与逻辑批量大小解耦，消除了手动调优最优批量大小的需求。最终，团队在3B参数规模、6.4万亿token的训练量下完成预训练，在文本生成、文生图及文生音频任务上均取得较强结果，是迄今规模最大的多模态离散扩散模型系统性开放研究。
离散扩散模型近年来被视为自回归语言模型的有力替代方案。此前研究通常以单模态预训练模型为基础，通过初始化或微调的方式扩展至双模态生成任务。苹果研究团队此次另辟蹊径，从零开始预训练一个统一的三模态掩码扩散模型，训练数据涵盖纯文本、图文对和音文对三种形式，是该领域首次在如此广泛的模态组合上开展系统性预训练研究。
研究的核心贡献之一是对多模态扩展规律的系统分析。团队考察了不同模态数据的混合比例对模型性能的影响，探索了噪声调度策略的选择空间，并量化了批量大小变化对训练动态的作用。这些分析为后续研究者在设计多模态离散扩散模型时提供了可参考的实证基础，填补了该领域缺乏大规模系统性研究的空白。
在批量大小分析方面，团队推导出一种新颖的基于随机微分方程的重参数化方法。该方法将物理批量大小（通常由GPU饱和度、FLOP效率和训练时钟时间等计算资源因素决定）与逻辑批量大小（用于平衡随机优化中梯度方差）彻底解耦。这一创新消除了以往工作中需要反复调优最优批量大小的工程负担，使训练配置更加灵活高效。
在模型规模与训练量上，团队完成了3B参数、6.4万亿token的预训练实验，验证了统一设计框架的实际能力。该模型在文本生成、文生图（T2I）和文生音频（T2S）三类任务上均取得了较强的基准结果，证明单一离散扩散模型可以在不牺牲各模态性能的前提下实现多模态统一建模。
研究团队还提供了优化后的推理采样默认配置，降低了实际部署时的调参门槛。论文作者来自苹果、剑桥大学、麻省理工学院及Google DeepMind等机构，体现了学术界与工业界的深度合作。该研究被定性为迄今规模最大的多模态离散扩散模型系统性开放研究，相关发现有望推动整个领域在扩展策略和训练方法上的进一步探索。
要点
- 苹果提出首个从零预训练的三模态掩码扩散模型，统一覆盖文本、图文和音文生成任务
- 基于随机微分方程的重参数化方法将物理批量大小与逻辑批量大小解耦，消除手动调优需求
- 在3B参数、6.4万亿token规模下完成预训练，文本生成、T2I和T2S任务均取得较强结果
- 系统分析了多模态扩展规律、模态混合比例和噪声调度，为领域提供了可复用的实证参考
- 该研究是迄今规模最大的多模态离散扩散模型系统性开放研究
原始标题：The Design Space of Tri-Modal Masked Diffusion Models
本文由 DataHub 基于公开来源整理，用于信息发现与摘要阅读；具体事实、数据和后续更新以原始来源为准。