模型 / 官方
用轻量门控模块解决RAG知识冲突问题
检索增强生成（RAG）是当前大语言模型落地的主流方案之一，但检索到的外部知识与模型内部参数知识之间的冲突，始终是影响生成质量的核心难题。东北大学与清华大学的研究团队联合提出了SPARK方法，并通过SHIFT框架将其开源。SHIFT的核心思路是在冻结的大语言模型上附加一个极小的可学习门控模块，让模型能够在生成过程中动态调节对检索内容与参数知识的依赖程度，而无需直接修改模型内部神经元。该框架可训练参数量不足原模型的0.01%，在显著提升模型对检索上下文忠实度的同时，对模型通用能力的影响极为有限。项目已在Hugging Face上发布训练检查点，支持在MRQA、ConfiQA和MMLU等主流基准上进行评估，代码已托管于GitHub。
RAG系统在实际部署中面临一个根本性矛盾：当检索到的外部文档与模型训练时习得的参数知识发生冲突时，模型往往难以做出正确取舍。过度依赖参数知识会导致模型忽视最新或更准确的检索内容，而盲目服从检索结果又可能引入噪声或错误信息。SPARK正是针对这一知识冲突问题而设计的自适应解决方案。
SHIFT框架的技术核心是一个轻量级的门控模块。与传统方法直接编辑模型内部神经元不同，SHIFT将门控模块以附加组件的形式叠加在冻结的大语言模型之上。该模块通过学习在不同生成步骤中动态调整检索上下文与参数知识的参与比例，从而在保持模型原有能力的前提下，提升其对检索内容的忠实度。
在参数效率方面，SHIFT表现出色。整个门控模块的可训练参数量不足基础模型参数总量的0.01%，这意味着训练成本极低，且对原始模型权重几乎不产生干扰。项目支持基于GRPO算法的单卡与多卡训练，训练数据来源于MRQA共享任务数据集，并通过FlashRAG工具进行合成扩充。
在模型兼容性方面，SHIFT目前已适配Qwen3和LLaMA系列模型，并通过补丁脚本对vLLM推理框架进行了相应修改以支持门控机制。研究团队还提供了基于t-SNE的门控可视化分析流程，可直观呈现不同规模模型（如Qwen-3-0.6B和Qwen-3-8B）在处理知识冲突时的门控激活分布差异。
项目已在Hugging Face平台（账号ITcoder/SHIFT）发布SFT检查点与完整训练检查点，研究者可直接下载用于评估或进一步微调。评估脚本支持MRQA、ConfiQA等问答基准，MMLU通用能力评估则通过lm-evaluation-harness工具链完成。该工作以arXiv论文形式公开（编号2606.27786），代码以MIT协议开源。
要点
- SHIFT通过在冻结LLM上附加轻量门控模块，以不足0.01%的可训练参数实现RAG知识冲突的自适应缓解
- 框架支持Qwen3和LLaMA系列模型，提供单卡与多卡GRPO训练脚本，并已在Hugging Face发布完整检查点
- 门控模块在提升检索内容忠实度的同时，对模型通用能力（如MMLU表现）的负面影响极小
- 项目提供t-SNE可视化工具，可分析不同模型规模下门控激活的分布规律，有助于理解知识冲突的内在机制
原始标题：OpenBMB/SHIFT — Souce code for paper "SPARK: Adaptive Parametric Knowledge Participation for Faithful Retrieval-Augmented Generation"
本文由 DataHub 基于公开来源整理，用于信息发现与摘要阅读；具体事实、数据和后续更新以原始来源为准。