决策模型接入 Amazon Bedrock AgentCore 评估框架实战指南

智能体评估中存在两类截然不同的问题：一类需要深度推理与解释，另一类则是边界清晰、答案固定的判断题。对于后者，通用大语言模型评估器往往存在置信度不稳定的问题——同一问题在不同运行中可能给出不同的评分理由。决策模型正是为解决这一痛点而生，它将判断任务建模为从固定选项集中选择最优答案，并输出经过校准的概率分布，使开发者能够设定阈值、批量聚合并以编程方式触发后续动作。

Amazon Bedrock AgentCore Evaluations 支持三种评估模式：开发阶段的按需评估、针对历史会话的批量评估，以及面向生产流量的在线评估。平台内置 15 个评估器，同时开放自定义评估器接口，分为 LLM 裁判型和代码型两类。代码型评估器通过 AWS Lambda 运行用户自定义逻辑，可调用任意外部系统或模型，决策模型即通过这一机制接入。这种架构使决策模型能够作为筛选层，对所有指标快速输出通过或失败信号，再将需要深入分析的轮次交由内置评估器处理。

决策模型支持三类问题形式。是否题（noul）返回 0 到 1 之间的概率值；选择题（choice）支持最多 255 个选项，返回最高概率选项及完整分布；评分题（score）支持 2 到 10 个有序等级，返回概率加权分数与置信度。Jev 是 TypeSafe 提供的托管决策模型服务，Strands Decider 2B 则是 Strands Agents 团队开源的 20 亿参数本地部署模型，两者均支持上述三类问题形式，可覆盖大多数评估场景中的结构化判断需求。

本文构建的端到端示例包含一个 HR 助手智能体，该智能体基于 Strands Agents 开发并部署至 AgentCore Runtime，通过五个工具返回固定模拟数据，涵盖带薪休假余额、休假申请、HR 政策、福利及工资单等信息。使用固定数据的目的是便于验证评估器行为：开发者可以明确知道正确答案，从而对比 LLM 裁判型评估器与决策模型在捕获错误方面的表现差异，为自身业务场景选择合适的评估策略提供参考依据。

在实际接入流程中，开发者需要将 AgentCore 评估器的输入格式转换为决策模型所需的请求结构，再将模型返回的概率值映射回 AgentCore 可识别的评估结果格式。对于 Jev，需要申请 TypeSafe API 密钥；对于 Strands Decider 2B，则需要自行部署服务端，可在本地测试或在 VPC 内的 Amazon EC2 实例上运行，以确保 Lambda 函数能够访问。完整代码示例已发布于 AgentCore Samples 代码仓库，供开发者参考实践。

决策模型并非 LLM 评估器的替代品，而是对其能力的补充。当评估任务需要连接证据、识别缺失信息或对响应进行深度分析时，内置 LLM 评估器的解释能力不可或缺。而对于策略合规性检查、工具调用安全性判断等边界清晰的重复性问题，决策模型凭借其稳定的置信度输出和低延迟特性，能够在发布门控环节提供更可靠的自动化保障，两者结合使用可构建更完善的智能体质量保障体系。

要点

• 决策模型输出经校准的概率分布而非自由文本，适用于答案集合固定、需反复执行的智能体评估问题，置信度更稳定可量化。
• AgentCore 代码型评估器通过 AWS Lambda 调用外部决策模型，可将 Jev 或 Strands Decider 2B 无缝集成进评估流水线。
• 决策模型可作为筛选层快速输出通过或失败信号，将需要深度分析的轮次定向交由内置 LLM 评估器处理，提升整体评估效率。
• Jev 为托管服务，Strands Decider 2B 为开源本地部署模型，两者均支持是否题、选择题和评分题三类问题形式，覆盖主流评估场景。
• 决策模型与 LLM 裁判型评估器定位互补，前者擅长窄域重复判断，后者擅长需要推理解释的复杂评估，组合使用可构建更完善的质量保障体系。