AI资讯 / 论文

论文 / 论文

用循环软流与解耦生成弥合多跳知识图谱问答的语义鸿沟

arXiv LLM/Agent

在知识图谱多跳问答任务中,传统“先检索后阅读”的流程难以端到端训练,导致检索器无法跨越中间节点与查询之间缺乏词面重合的语义鸿沟。为此,研究者提出 RSF-GLLM 框架,把图推理与答案生成解耦:循环软流模块借助 GRU 更新查询向量,并通过动态门控沿结构线索传播相关度得分;引入稀疏正则使软概率收敛到离散推理路径,再将路径文本化以微调大模型,确保生成内容贴合图谱事实拓扑。在 WebQSP 与 CWQ 数据集上的实验显示,该方法在效果上具备竞争力的同时,推理效率明显优于依赖大模型迭代的方案。

多跳知识图谱问答要求系统沿实体关系链逐步推理,常面临中间节点与原始查询缺乏词面重合的问题。传统 pipeline 把检索与阅读拆成两个阶段,梯度无法贯穿整个流程,检索器因此难以学到跨越语义鸿沟的能力。

RSF-GLLM 将任务拆解为可微图推理与答案生成两部分:前端在连续空间内完成路径搜索,后端由大模型负责自然语言生成,两者通过路径文本化衔接,避免端到端训练的不稳定性。

核心组件是循环软流模块。它使用 GRU 持续更新查询表示,沿着图结构传播相关度得分,并由动态门控机制决定信息如何穿越语义不相似但结构关键的桥接节点。

为让软概率最终收敛为离散路径,研究者加入流稀疏正则,从理论上保证软流选择与硬路径选择趋于一致,使推理过程可控、可解释。

得到的多跳路径被序列化为文本,用于微调大模型,让生成阶段既忠实于图谱事实,又能利用语言模型完成流畅作答。在 WebQSP 与 CWQ 上的实验表明,该方案在准确率上保持竞争力,同时推理开销远低于纯大模型迭代式方法。

要点

  • 将可微图推理与答案生成分解,可避开传统 pipeline 不可端到端训练的痛点。
  • 循环软流模块借助 GRU 与动态门控,有效跨越语义不相似但结构关键的桥接节点。
  • 流稀疏正则为软概率收敛到离散路径提供了理论保障。
  • 把推理路径文本化再微调大模型,能兼顾事实性与表达力。
  • 在 WebQSP、CWQ 上以更低推理成本取得与重计算 LLM 方案相当的性能。
查看原始来源

原始标题:RSF-GLLM: Bridging the Semantic Gap in Multi-Hop Knowledge Graph QA via Recurrent Soft-Flow and Decoupled LLM Generation

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。