AI资讯 / 模型

模型 / 官方

让大模型在检索增强生成中自适应调用参数知识

OpenBMB GitHub

OpenBMB 团队在 GitHub 上发布了论文《SPARK: Adaptive Parametric Knowledge Participation for Faithful Retrieval-Augmented Generation》的完整源代码。该研究针对检索增强生成(RAG)系统中长期存在的核心矛盾——模型自身参数知识与外部检索文档之间的冲突与协调问题——提出了一种名为 SPARK 的自适应机制。传统 RAG 方法往往简单地将检索内容拼接至输入,忽视了模型内部知识的动态参与程度,导致生成结果出现幻觉或与检索内容不一致的情况。SPARK 通过自适应地调节参数知识的参与比例,使模型能够在检索内容可靠时优先依赖外部文档,在检索质量不足时合理补充内部知识,从而在忠实性与知识利用效率之间取得更优平衡。项目以 Python 实现,代码已公开供研究者复现与扩展。

检索增强生成(RAG)是当前大语言模型落地应用的主流范式之一,其核心思路是在推理时引入外部检索文档,以弥补模型参数知识的时效性不足。然而,现有 RAG 系统普遍面临一个深层问题:当检索内容与模型内部知识存在冲突时,模型应当如何取舍?过度依赖检索结果可能引入噪声,而过度依赖参数知识则会削弱 RAG 的意义。SPARK 正是为解决这一两难困境而设计的。

SPARK 的核心创新在于引入了自适应参数知识参与机制。该机制并非静态地决定是否使用检索内容,而是动态评估当前检索文档的质量与相关性,据此调整模型参数知识在最终生成过程中的参与权重。这种自适应策略使模型能够在不同场景下灵活切换信息来源,避免了固定策略带来的系统性偏差,从而在多种问答与知识密集型任务上提升生成结果的忠实性。

忠实性(faithfulness)是 RAG 系统评估中的关键指标,指生成内容与检索来源之间的一致程度。传统方法在检索质量参差不齐的真实场景中往往表现不稳定,容易出现生成内容与检索文档相悖、或凭空捏造事实的幻觉现象。SPARK 通过显式建模参数知识的参与程度,为提升忠实性提供了一条新的技术路径,对于需要高可靠性输出的企业级 RAG 应用具有重要参考价值。

从工程实现角度看,SPARK 以 Python 编写,代码结构清晰,便于研究者在自有数据集和模型基础上进行复现与二次开发。OpenBMB 团队此前已在大模型训练、压缩与对齐等多个方向积累了丰富的开源经验,此次发布延续了其推动学术成果工程化落地的一贯风格。研究者可直接基于该代码库开展消融实验或与其他 RAG 基线方法进行对比评测。

SPARK 的提出反映了学界对 RAG 系统深层机制的持续关注。随着大模型在知识密集型任务中的应用不断深化,如何让模型更智能地协调内外部知识、减少幻觉、提升可信度,已成为 RAG 研究的核心议题。SPARK 提供的自适应参与框架为这一方向提供了新的思路,预计将推动后续在知识融合策略、检索质量感知等子问题上的进一步探索。

要点

  • SPARK 提出自适应参数知识参与机制,动态调节模型内部知识与外部检索内容的融合比例,有效提升 RAG 生成的忠实性
  • 该方法直接针对 RAG 系统中检索质量不稳定导致的幻觉问题,在知识密集型任务上具有实际应用价值
  • OpenBMB 已在 GitHub 开源完整 Python 代码,支持研究者复现论文结果并在自定义场景下扩展实验
  • SPARK 的核心思路——显式建模知识参与程度——为 RAG 系统设计提供了区别于传统拼接式方法的新范式
查看原始来源

原始标题:OpenBMB/SPARK — Souce code for paper "SPARK: Adaptive Parametric Knowledge Participation for Faithful Retrieval-Augmented Generation"

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。