Agent / 官方
面向扩散语言模型的轻量高效微调框架
inclusionAI 在 GitHub 上发布了 dFactory，一个专为扩散语言模型（dLLM）设计的微调框架。该框架当前支持 LLaDA2.0-mini（16B）和 LLaDA2.0-flash（100B）两款指令微调模型，并集成了块扩散与全注意力两种监督微调方式。dFactory 的核心亮点在于对混合专家（MoE）架构的工程优化：通过将各专家权重合并为高维张量，充分利用 GPU 批量矩阵乘法加速训练过程。框架提供完整的数据准备脚本、配置文件和一键训练命令，降低了扩散语言模型微调的工程门槛。路线图中还规划了可训练并行解码支持与完整文档站点，LLaDA2.1 及 2.2 系列模型也将陆续上线。整体来看，dFactory 旨在为研究者和开发者提供一套从数据处理到模型部署的端到端扩散语言模型微调解决方案。
inclusionAI 近日在 GitHub 开源了 dFactory 项目，定位为扩散语言模型（dLLM）的轻量高效微调工具链。与主流自回归大模型不同，扩散语言模型采用去噪生成范式，在某些推理任务上展现出独特优势。dFactory 的推出，标志着该类模型的微调生态开始走向工程化与规范化。
框架目前支持两款核心模型：LLaDA2.0-mini（16B 参数）和 LLaDA2.0-flash（100B 参数），均已完成指令微调，可直接用于下游任务适配。微调方法涵盖基于块扩散（block-diffusion）和全注意力（full attention）的连续监督微调，用户可根据任务需求灵活选择训练策略。
在工程实现层面，dFactory 对 MoE 架构进行了专项优化。训练前需将 Hugging Face 标准格式的分离专家权重转换为合并格式，使各层所有专家的权重堆叠为单一高维张量，从而充分发挥 GPU 批量矩阵乘法的计算效率，显著提升训练吞吐量。框架提供了 moe_convertor.py 脚本，支持合并与拆分两种转换模式的双向操作。
数据准备方面，dFactory 以 openai/gsm8k 数学推理数据集为示例，提供了将问答对转换为对话格式的完整脚本。处理后的数据自动拆分为训练集与测试集，分别保存为 train.jsonl 和 test.jsonl。用户可参照该脚本适配自定义数据集，整体流程清晰，易于复现。
完成训练后，用户需将检查点从合并格式还原为标准 MoE 结构，并手动将原始模型的架构文件复制至输出目录，方可进行推理交互。这一设计将权重与架构文件分离管理，保持了与 Hugging Face 生态的兼容性。路线图显示，LLaDA2.1-mini、LLaDA2.1-flash 及 LLaDA2.2-flash 等新版本模型即将发布，可训练并行解码功能也在积极推进中。
要点
- dFactory 是首个专为扩散语言模型设计的开源微调框架，支持 16B 至 100B 规模的 LLaDA2.0 系列模型
- MoE 专家权重合并策略是框架的核心工程优化，可显著提升 GPU 训练效率
- 框架提供端到端工具链，涵盖数据处理、配置管理、一键训练与检查点转换全流程
- LLaDA2.1 和 LLaDA2.2 系列模型及可训练并行解码功能已列入近期路线图
原始标题：inclusionAI/dFactory — Easy and Efficient dLLM Fine-Tuning
本文由 DataHub 基于公开来源整理，用于信息发现与摘要阅读；具体事实、数据和后续更新以原始来源为准。