论文 / 论文
利用递归证据回放提升大模型长上下文推理
论文提出名为ReContext的无训练推理方法，针对大语言模型在长上下文中难以有效利用已有证据的痛点，借助模型内部相关性信号构建查询相关的证据池，并在最终生成前进行递归回放，同时保留完整原文。该方法将证据组织与答案生成分离，不依赖额外训练、外部记忆或上下文剪枝，并基于联想记忆理论给出机制解释。在八个128K长度的长上下文数据集上，ReContext在Qwen3-4B、Qwen3-8B和Llama3-8B三个基座模型上均提升证据利用效果，平均排名同时达到最佳。
随着大语言模型在真实场景中的部署不断深入，对长上下文的理解与推理已成为关键需求。尽管模型支持的上下文窗口持续扩大，但常常无法有效利用输入中已经出现的重要证据，暴露出能够访问与真正会用之间的明显差距。
ReContext是一种无需训练的推理方法。它利用模型内部的相关性信号，构建一个由查询条件筛选出的证据池，并在最终生成前对池中证据进行递归回放。整个过程保留完整原文，不做上下文剪枝，也不依赖外部记忆模块。
作者基于联想记忆给出理论分析：将上下文类比为记忆存储，问题视作检索线索，注意力机制承担线索与记忆痕迹的关联功能，而证据回放相当于对相关痕迹的再激活，从机制层面解释了递归选择为何能改善长上下文利用。
在八个长度为128K的长上下文数据集上，ReContext分别作用于Qwen3-4B、Qwen3-8B和Llama3-8B三种基座模型，证据利用效果均得到稳定提升，并在三个模型上同时取得最佳平均排名。
由于不依赖额外训练或外部存储组件，ReContext可即插即用地接入现有大模型的推理流程，为长上下文场景下的提示工程与轻量增强提供了一种新的解决路径。相关代码已在GitHub开源，便于研究者复现与改进。
要点
- ReContext是一种无训练、无外部记忆的推理增强方法，可在保留完整原文的前提下提升长上下文证据利用
- 方法核心是利用模型内部相关性信号递归构建并回放查询相关的证据池
- 论文从联想记忆视角给出理论解释，将上下文、问题、注意力与回放分别对应记忆、线索、关联与再激活
- 在128K长度的八个数据集上，对Qwen3-4B、Qwen3-8B、Llama3-8B三个模型均取得最佳平均排名
原始标题：ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning
本文由 DataHub 基于公开来源整理，用于信息发现与摘要阅读；具体事实、数据和后续更新以原始来源为准。