AI资讯 / 工程

工程 / 工程

让AI智能体自主行动而不失控

AWS Machine Learning

企业在部署AI智能体时面临一个核心矛盾:智能体越自主,就越难以信任。传统做法是让人类审批每一步操作,但随着智能体承担的任务增多,审批积压和审查疲劳随之而来,谨慎反而成为瓶颈。AWS提出「深度信任」(Trust in Depth)框架,借鉴网络安全领域沿用二十年的「纵深防御」理念,将其转化为扩大可信边界的工具。该框架围绕五个核心问题构建:运行前的范围界定(Scope)、部署时的身份确认(Know)、运行中的行为约束(Bound)、每次运行后的行为观测(Observe),以及可验证的数学证明(Prove)。对于可精确表述的规则,AWS引入自动推理技术进行数学级别的验证;对于依赖上下文判断的规则,则通过限制访问权限并将真正的模糊决策交还人类来处理。该框架已在Amazon Bedrock AgentCore等产品中落地实施。

企业领导者普遍面临同一困境:他们希望AI智能体承担更多工作,却又无法完全信任其每次都能正确执行。这种矛盾并非无中生有——智能体的创造力和自主性正是其价值所在,但也使其难以被预测。同一任务交给智能体执行两次,它可能走出两条截然不同的路径,今天通过的测试对明天的行为几乎没有任何保证。

传统的解决方案是在流程中加入人工审批环节,但这种方式在规模扩大后迅速失效。当智能体承担的任务量增加,人工审批随之堆积,审查人员在疲惫中逐渐失去对真正重要问题的敏感度。谨慎本应是保障,却演变为瓶颈,使本可创造更大价值的智能体在高价值任务上无所作为。AWS认为,正确的做法是:在智能体的行为可被验证时允许其自主行动,将人类判断力保留给真正需要它的决策。

「深度信任」框架的核心逻辑是分层验证。在智能体运行前,需要明确其职责范围、所需工具与数据权限,以及绝对不能触碰的边界;在部署阶段,需要确认每个智能体的授权来源与身份;在运行过程中,需要确保其行为始终在设定的限制内;在每次运行结束后,需要能够完整还原其行动路径并从中学习。这四个维度共同构成可验证的信任基础。

对于可精确表述的规则,AWS引入了自动推理技术——一种基于数学逻辑的验证方法,能够检查某条规则是否在所有可能的情况下都成立,而不仅仅是开发者预设的测试场景。AWS已在IAM身份与访问管理(每秒超过21亿次请求)、AWS Nitro虚拟机管理程序、Amazon S3公共访问屏蔽等关键系统中运行自动推理超过十年,现正将这一能力引入智能体治理领域。

在工具层面,AWS通过多个产品将框架落地。Kiro作为智能体编码系统,在代码编写前将高层意图转化为结构化规范,并利用自动推理发现矛盾、歧义和漏洞。Strands提供开源工具包用于定义智能体的模型、指令和工具。Amazon Bedrock AgentCore则提供治理控制层,允许用户以自然语言描述智能体可访问的工具、API和数据,并由自动推理在策略生效前检查其中的权限过度授予或逻辑矛盾。

值得注意的是,「深度信任」并非万能钥匙。并非所有规则都能被精确表述——「只有经理才能批准访问」可以被数学证明,而「保持友好的语气」则无法。对于后者,框架的建议是限制智能体的访问范围、持续评估其行为,并将真正模糊的判断交还给人类。随着规则执行得到验证、任务表现趋于稳定、故障可被检测和处理,智能体的自主权才应逐步扩大。信任不是一次性授予的,而是通过持续验证积累而来的。

要点

  • AWS「深度信任」框架将智能体治理分为范围界定、身份确认、行为约束、运行观测四个层次,通过分层验证替代低效的全程人工审批。
  • 自动推理技术可对精确表述的规则进行数学级别的验证,证明其在所有可能路径下均成立,而非仅覆盖预设测试场景。
  • 对于无法精确表述的规则(如语气、情境判断),框架建议限制访问权限并将模糊决策交还人类,而非强行自动化。
  • Amazon Bedrock AgentCore、Kiro和Strands是该框架的主要落地产品,分别覆盖治理策略、编码规范和运行时管理。
  • 智能体的自主权应随着规则验证、任务表现和故障处理能力的成熟而逐步扩大,信任需要通过持续验证积累,而非一次性授予。
查看原始来源

原始标题:Trust in Depth: Giving agents more autonomy without losing control

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。