让语言模型自主决定何时压缩上下文

语言模型智能体在执行复杂任务时，会持续生成思维链推理步骤并调用外部工具，这些内容随时间累积，形成冗长且充斥过时信息的上下文轨迹。过时内容不仅占用宝贵的上下文窗口空间，还会对后续生成产生锚定效应，干扰模型做出准确判断。当轨迹长度超出上下文窗口限制时，智能体将无法继续运行，这一问题在需要多步骤推理的数学竞赛题和复杂信息检索任务中尤为突出。

现有的主流解决方案是设置固定 token 阈值，一旦上下文长度触及该阈值便自动触发摘要压缩。然而，这种机制对推理轨迹的内在结构毫无感知。压缩可能恰好发生在模型正推导某个关键中间步骤或正在执行多轮搜索的过程中，导致尚未完成的部分结果被丢弃，进而破坏后续推理的连贯性，反而降低任务完成质量。

SELFCOMPACT 框架通过两个推理时组件的协同来解决上述问题。其一是一个可供模型主动调用的压缩工具，用于对已积累的上下文进行摘要；其二是一套轻量级评判准则，明确规定触发压缩的条件——子任务已完成或推理轨迹趋于收敛——以及应当抑制压缩的情形，包括推理进行到一半或模型陷入循环僵局。研究发现，单独提供工具而缺乏准则时，不同开源模型的调用行为极不稳定，往往在不恰当的时机触发或完全不使用；而单独依赖准则又无法付诸行动，两者缺一不可。

研究团队在竞赛数学和智能体搜索两类任务上，使用六项基准测试和七个不同规模的模型对 SELFCOMPACT 进行了系统评估。结果显示，与不进行任何摘要的基线相比，SELFCOMPACT 在数学任务上最高提升 18.1 个百分点，在智能体搜索任务上提升 5 至 9 个百分点，同时每道题的 token 消耗降低 30% 至 70%。在多数设置下，SELFCOMPACT 的表现与固定间隔压缩方案持平甚至更优，而所需计算成本仅为后者的一小部分。

这项研究还揭示了语言模型存在的一种元认知缺口：在没有任何提示引导的情况下，模型无法可靠地判断自身上下文是否已经腐化失效。引入轻量级评判准则后，这一缺口得以弥合。研究者将此重新定义为一种可由脚手架框架提供的能力，而非需要通过微调或外部监督才能习得的内在技能。这一发现对智能体系统的工程设计具有重要启示：合理的结构化提示可以在无需额外训练的前提下，显著提升模型的自我管理能力。

SELFCOMPACT 论文将在 NeurIPS 2026 上正式发表，作者团队来自约翰斯·霍普金斯大学及苹果公司。该工作与苹果近期在基于评判准则的对齐和多环境智能体训练方向上的系列研究形成呼应，共同指向一个核心命题：通过精心设计的推理时结构，可以在不修改模型权重的前提下，大幅提升大型语言模型在长程任务中的可靠性与效率。

要点

• 固定阈值触发的上下文压缩忽视推理轨迹结构，容易在关键中间步骤处截断，SELFCOMPACT 通过让模型自主决策来规避这一风险。
• 压缩工具与评判准则必须配合使用，单独依赖任一组件均无法实现稳定有效的自适应压缩。
• 在数学和搜索基准上，SELFCOMPACT 相比无摘要基线最高提升 18.1 个百分点，同时降低 30–70% 的 token 成本。
• 研究揭示语言模型存在元认知缺口，无法自主判断上下文质量，但轻量级评判准则可在无需微调的情况下弥补这一不足。
• 该框架为智能体系统工程提供了新思路：合理的推理时脚手架设计可替代部分训练开销，提升长程任务的可靠性。