AI智能体的长期决策能力堪忧，新基准测试给出量化证据

AI智能体正越来越多地承担撰写研究报告、开发软件项目等复杂的多步骤任务。在执行过程中，它们需要不断做出选择：测试哪个假设、沿用哪段代码、下一步运行哪个实验。这些决策的影响往往不会立即显现——一个糟糕的选择在初期看起来毫无问题，真正的代价只有在消耗大量资源之后才会暴露。研究人员将智能体做出这类高质量选择的能力称为「品味」（taste）。

为填补现有评估体系的空白，研究团队构建了Taste-Bench。其核心机制是「决策分叉」：在智能体运行轨迹的某个节点，将后续信息全部隐藏，要求模型从两条可能的路径中选出更优方向。基准数据来源于数千次有评分的智能体运行记录，涵盖SWE-bench Pro和METR公开的MALT数据集，共筛选出502道题目，并经过人工审核确认标签准确性。

测试结果令人警醒。研究团队对Claude、GPT、Grok、DeepSeek等14个主流模型系列进行了评估，每道题正反顺序各问一次，只有两次均答对才计分。在这种设置下，纯随机猜测的期望得分为25%。表现最佳的GPT-5.6 Sol平均得分59.7%，GPT-5.5以59.5%紧随其后，其余模型得分均明显更低。所有模型均未能接近解决这一基准，尽管每道题都只是一个二选一的判断。

研究团队进一步分析了决策难度与信息可见性之间的关系。当判断所需的关键线索已经出现在此前的步骤中时，所有模型的平均准确率为62.3%；而当关键线索只有在大量后续工作完成后才会显现时，准确率骤降至21%，几乎等同于随机猜测。更值得关注的是，增加推理计算量对此毫无帮助——模型在最难的题目上花费了最多的推理资源，却恰恰在这些题目上失误最多，说明问题的根源在于所需信息在决策时根本尚未存在。

研究团队还证明，「品味」是可以通过训练来提升的。他们以Qwen3.6-27B为基础，通过知识蒸馏将一个知晓正确路径的教师模型的判断能力迁移到只能看到问题本身的学生模型。在未见过的任务上，学生模型的准确率从30%跃升至47.9%。将该模型的判断作为建议注入任务上下文后，在41个SWE-bench Pro保留任务上，智能体的成功率从14.6%提升至33.7%，接近理论上完美建议所能达到的39%上限。

Taste-Bench的发布具有更广泛的行业意义。随着AI智能体开始独立运行数天乃至数周，标准基准测试仅凭最终结果评判的局限性愈发凸显。METR此前已指出SWE-bench Verified显著高估了编程智能体的实际表现，专业人员发现许多通过自动化测试的解决方案仍存在基本功能缺陷。Taste-Bench提供了一个衡量过程决策质量的新维度，相关基准数据和代码已公开发布。

要点

• Taste-Bench是首个专门衡量AI智能体长期任务决策质量的基准，通过分析运行轨迹中的「决策分叉点」来评估模型「品味」
• 当前最强模型GPT-5.6 Sol在二选一决策题上的正确率仅为59.7%，其余模型普遍更低，整体表现接近随机水平
• 当关键判断线索需要在大量后续工作后才能显现时，模型准确率骤降至21%，增加推理计算量对此无效
• 通过知识蒸馏训练判断模型可将实际任务成功率从14.6%提升至33.7%，证明「品味」是可习得的能力
• 该研究揭示了现有端到端基准测试的盲区，为评估和改进AI智能体的长期规划能力提供了新方向