LangChain 如何评估智能体引擎的故障识别能力

LangChain 团队近日介绍了 IssueBench，这是一个为评估 LangSmith Engine 而构建的合成基准测试。Engine 旨在后台运行，通过分析智能体追踪来识别、聚类并修复问题。随着 Engine 的持续改进，团队需要一个可靠的方法来验证变更是否真正提升了其问题发现能力。IssueBench 通过提供带有真实标签的基准数据解决了这一需求，其中部分追踪包含已知故障，其余则为干净数据，且所有标签都经过严格验证。

IssueBench 专注于评估 Engine 在给定一批混合了合成注入故障的追踪时的核心能力：识别问题、分配故障类别、关联到现有问题以及分组新故障。最终产出是一组有助于团队调试、测试和修复生产环境智能体行为的问题集合。团队强调，仅凭追踪级别的标签是不够的，因为如果 Engine 标记了十个失败追踪却为同一根因创建了十个独立问题，问题集就会变得嘈杂；反之，如果它将无关故障合并为一个宽泛问题，则会丢失修复所需的细节。

该基准由 15 个任务组成，每个任务包含一批智能体追踪和一组初始问题。追踪和问题均在合成环境中生成，这提供了可控的真实标签，同时保持了类似真实智能体运行的追踪特征。当前套件覆盖 SRE 日志分析、软件工程和客户支持三个领域，并包含 15 种故障类别，如 PII 泄露、幻觉、系统提示漂移、工具错误、代理循环、上下文爆炸等。跨领域运行相同类别有助于测试 Engine 是否真正学习了底层故障模式，而非记忆特定领域的表面模式。

IssueBench 的评分体系确保 Engine 的结果在实用层面有效。评分维度包括：分类准确性（每个追踪是否正确标记为问题或无问题）、故障类别匹配（失败追踪是否获得正确类别）、现有问题分配（匹配追踪是否关联到正确的问题卡片）以及新问题分组（新故障是否按预期聚类）。基准还会对常见失败模式扣分，例如检测到正确追踪但未更新问题分组、为每个失败追踪创建独立卡片、将无关故障合并为模糊卡片或覆盖现有问题上下文。

LangChain 团队内部使用 IssueBench 来评估提示词、模型和分类行为变更对 Engine 的影响。该基准帮助捕捉回归、调试模糊的类别边界，并明确产品行为期望。团队发现，当 Engine 错误分类追踪时，问题往往不仅是模型失败，有时也暴露了类别边界不清晰、问题描述不充分或评分规则与实际分类方式不匹配。这种反馈循环是构建 IssueBench 的主要原因，它为改进智能体提供了可控的途径。

从构建 IssueBench 中，团队学到了几个关键经验：合成数据能改善评估校准，使用真实智能体在模拟工具和约束下运行提供了最佳平衡；无问题类别与故障类别同等重要，干净追踪中隐藏的问题会导致误报率失真；跨领域运行相同故障类别能测试理解而非记忆，确保 Engine 能识别抽象故障。目前 IssueBench 是内部开发基准，团队计划将其扩展到更多智能体类型、更大追踪批次和更丰富的评分维度，并公开分享这一方法，因为随着智能体投入生产，此类评估正变得越来越重要。

要点

• IssueBench 是一个合成基准测试，用于评估 LangSmith Engine 在智能体追踪中识别、分类和分组问题的能力，包含 15 个任务覆盖三个领域和 15 种故障类别。
• 评分体系从分类准确性、故障类别匹配、现有问题关联和新问题分组四个维度衡量 Engine 的实用性，并对常见失败模式扣分。
• 跨领域运行相同故障类别有助于测试 Engine 是否学习到抽象故障模式，而非仅记忆特定领域的表面特征。
• 合成数据提供了可控的真实标签，同时保持了类似真实智能体运行的追踪特征，是评估校准的关键。
• 无问题类别与故障类别同等重要，干净追踪中隐藏的问题会导致误报率失真，影响模型比较的可信度。