LangChain 发布 Eval Engineering Skill：从仓库上下文与追踪记录自动构建评估任务

LangChain 近日发布了 Eval Engineering Skill，这是一项旨在帮助编码代理从仓库上下文和代理追踪记录中自动构建评估任务的新技能。该技能首先读取仓库，映射代理的提示词、模型、工具、技能和钩子等表面信息，并识别支撑这些行为的 API 调用等数据服务。用户还可以通过 langsmith-cli 等工具指向代理的追踪记录，从中提取工具在实际运行中的参数、结果和错误等行为模式，为评估任务的设计提供真实生产环境参考。

技能通过用户访谈机制来优化评估方向。与一次性生成评估任务相比，LangChain 发现通过访谈用户能显著提高评估的接受率。用户可以从技能提出的评估方向中选择，并指导哪些工具和依赖需要真实运行、哪些需要模拟。例如，涉及成本或写入生产环境的工具调用可以被模拟，以避免每次评估调用都产生实际影响。这种迭代式设计让领域知识得以编码，用户能随时间不断优化评估任务。

在构建验证器时，LangChain 发现首次设计的验证器很少是最终版本。通过运行评估并检查代理轨迹和验证器轨迹，可以揭示任务或验证器设计是否真正测量了目标行为，或者是否存在奖励黑客问题，例如代理过度引用无关来源、声称未执行的动作、利用暴露的答案材料等。观察代理解决问题的轨迹往往能暴露这些失败的根源，从而指导任务、环境和验证器的修订。

评估任务最终以 Harbor 格式输出，包含指令、环境配置和验证器。Harbor 在指定环境中运行代理，记录其轨迹、工件、奖励和错误。同一评估任务可以针对不同模型、提示词、工具和代理版本重复运行，实现直接比较。容器化的评估环境保持稳定，而代理配置可以灵活变化，使得构建者能够快速实验，无需依赖变化的生产系统或写入生产状态。

LangChain 认为持续学习本质上是一个持续的数据挖掘问题，生产数据用于构建评估任务以持续改进代理。团队从追踪记录中挖掘重复用户请求、错误、失败工具调用和不正确的状态变化，将其转化为评估任务，从而在未来测量和预防相同行为。评估任务成为代理的训练数据，团队通过调整提示词、工具或微调来拟合代理行为，而评估任务提供了固定的改进目标。

要点

• Eval Engineering Skill 通过仓库扫描和追踪记录分析，自动识别代理的关键能力并生成评估任务。
• 用户访谈机制显著提升评估任务的接受率，支持对工具依赖进行模拟或真实运行。
• 评估任务以 Harbor 格式输出，包含指令、环境和验证器，可在不同代理版本间重复运行。
• 容器化评估环境保持稳定，支持并行运行多种配置，加速代理迭代实验。
• 持续学习本质是数据挖掘问题，生产追踪记录用于构建评估任务，形成“挖掘-评估-改进”闭环。