用动态混合策略解决大模型多域微调的能力保留难题

多域微调是当前大语言模型落地应用的核心挑战之一。企业和研究者通常希望将通用预训练模型适配到特定业务场景，但这一过程往往伴随着灾难性遗忘——模型在新域上的增益，以牺牲原有通用能力为代价。尤其是安全对齐、指令遵循等关键能力一旦退化，将带来严重的实际风险。如何在多个域之间精确分配训练数据，成为制约微调质量的关键瓶颈。

现有方法大多依赖固定比例的数据混合或基于经验的自适应规则，这类策略存在明显局限：它们无法在优化过程中显式地将约束域的性能保留作为硬性条件加以执行。当目标域数量增多、约束域类型多样时，手动调整混合权重的成本急剧上升，且难以保证约束满足的可靠性。苹果团队认为，这一问题的本质是一个带约束的优化问题，而非单纯的数据配比问题。

DynaMiCS的核心创新在于引入了斜率矩阵的概念。在每次参数更新前，系统对各个微调数据集分别进行短暂的探测训练，测量每个数据集对所有评估域损失的局部影响方向和幅度，从而构建一个跨域影响矩阵。这一矩阵捕捉了训练数据与评估域之间复杂的相互作用关系，为后续的权重优化提供了精确的局部线性近似。

基于斜率矩阵，DynaMiCS在概率单纯形上求解一个约束优化问题：目标是最大化目标域的性能提升，约束条件是所有约束域的损失不超过预设的参考水平。这一框架将数据混合权重的确定从人工经验转变为可解的数学问题，每次迭代都能自适应地调整各域数据的采样比例，确保训练轨迹始终在满足约束的可行域内推进。

在多组实验中，DynaMiCS在目标域改进幅度和约束满足率两个维度上均超越了固定混合基线。值得注意的是，该方法不依赖额外的参考模型、无需对每个训练样本单独评分，也不需要人工调整混合超参数，整体计算开销低于同类自适应方法。这使得DynaMiCS在实际部署中具备较强的可操作性，尤其适合需要同时维护安全性与专业能力的生产级模型微调场景。

要点

• DynaMiCS将多域微调重新建模为约束优化问题，通过显式约束机制保护通用知识、指令遵循和安全等关键能力不因微调而退化。
• 斜率矩阵是该方法的核心机制，通过对各域进行短暂探测运行，实时估计不同训练数据对各评估域的跨域影响，为动态权重分配提供数学依据。
• DynaMiCS无需参考模型、逐样本评分或手动调参，在降低工程复杂度的同时，在多域微调场景下实现了比固定混合基线更强的目标域提升和更高的约束满足率。
• 该研究对需要在专业化与安全对齐之间寻求平衡的生产级大模型微调具有直接的实践参考价值，尤其适用于约束域类型多样、目标域数量较多的复杂场景。