AI资讯 / Agent

Agent / 工程

用 OpenWiki 与证据图谱为 AI 智能体构建持久记忆层

LangChain

LangChain 近期发布了一篇工程实践文章,介绍如何利用其开源工具 OpenWiki 与证据图谱,为 AI 智能体构建基于证据的持久记忆层。在银行、保险等政策文件频繁相互引用、修订的场景中,智能体往往需要在每次任务中重新梳理文档关系,既耗时又容易出错。LangChain 团队构建了一个包含 111 份长文档的合成保险文档库,并在相同底层模型与指令下,对比了纯关键词搜索与接入 OpenWiki 记忆层两种方案的表现。结果显示,在需要跨文档推理的连接型问题上,Wiki 方案的准确率从 0.10 提升至 0.52,约为搜索方案的 5 倍;进一步引入证据图谱后,准确率再提升 27%,引用一致性翻倍,每次正确回答的成本下降 58%。对于简单的单段落查找任务,两种方案表现相当,但 Wiki 方案延迟略有增加。

在企业级知识管理场景中,智能体需要同时处理政策文件、操作手册、工单和代码等分散在不同系统中的信息。找到相关段落只是第一步,更难的是判断哪些规则适用、哪些内容已被修订,以及不同来源之间如何相互影响。如果没有持久记忆层,智能体在每次任务中都要重新重建这些理解,导致成本高昂且容易出错。这一问题在保险和银行领域尤为突出,因为政策条款频繁相互引用和覆盖。

LangChain 的解决方案是 OpenWiki,一个基于 Deep Agents 构建的开源命令行工具。它能将原始文档编译成带有引用链接的 Wiki 页面,将源材料综合为解释关键概念及其关系的结构化知识。OpenWiki 中的每条陈述都对应一个「声明」,该声明与支撑它的原始文本行及其哈希值相关联。当原始文本发生变化时,哈希值随之改变,系统无需调用模型即可标记受影响的声明,从而实现更低成本、更确定性的过期检测。

为了量化记忆层的实际效果,LangChain 构建了一个包含 111 份长文档的合成保险文档库,并设计了 972 条事实构成的评测账本。文档库刻意引入了过期版本、矛盾内容、间接引用链和措辞差异,以模拟真实企业知识库的复杂性。评测分为 80 道简单查找题和 50 道需要跨文档推理的连接型问题,每道题重复提问三次,以衡量结果的稳定性。评测指标涵盖准确率、引用一致性(Jaccard 相似度)以及每次正确回答的成本与延迟。

实验结果清晰地呈现了两种场景下的差异。在简单查找任务上,搜索方案与 Wiki 方案的准确率分别为 0.84 和 0.83,表现相当,但 Wiki 方案的延迟从 9 秒增加到 12 秒。在连接型问题上,Wiki 方案的准确率从 0.10 大幅提升至 0.52,每次正确回答的成本也从约 0.55 美元降至 0.19 美元。然而,即便如此,Wiki 方案在连接型问题上的引用一致性仍从简单查找时的 0.74 下滑至 0.25,说明单靠 Wiki 还不足以保证答案的可复现性。

为解决引用不稳定的问题,LangChain 在 Wiki 之上引入了证据图谱,将 Wiki 中的引用和文档交叉引用转化为智能体可以主动追溯的显式图边。这一改进使引用一致性翻倍,准确率进一步提升 27%,每次正确回答的成本下降 58%。证据图谱让智能体不仅能获取编译后的领域知识,还能沿着证据链回溯到原始支撑材料,从而在准确性与可审计性之间取得更好的平衡。

这项实践为构建企业级智能体提供了清晰的工程参考:对于跨文档推理任务,编译式 Wiki 加证据图谱的组合能显著提升准确率和一致性;而对于简单的单段落查找,传统搜索方案在速度和成本上仍具优势。LangChain 建议团队根据任务类型灵活选择记忆策略,并将 OpenWiki 的自我修正机制作为知识库持续更新的基础设施,而非一次性的静态索引。

要点

  • 在跨文档推理任务中,接入 OpenWiki 记忆层的智能体准确率约为纯搜索方案的 5 倍(0.52 vs 0.10)。
  • 在 Wiki 基础上引入证据图谱,可使引用一致性翻倍、准确率提升 27%、每次正确回答成本下降 58%。
  • 对于简单的单段落查找任务,Wiki 方案与搜索方案准确率相当,但延迟略有增加,搜索方案更具性价比。
  • OpenWiki 通过哈希校验机制实现无需模型调用的过期检测,使记忆层能够随源文档变化自我修正。
  • 证据图谱将引用关系转化为可追溯的图边,提升了智能体答案的可复现性与可审计性,适合对合规性要求较高的业务场景。
查看原始来源

原始标题:How to build evidence-grounded agent memory with OpenWiki and Graphs

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。