OpenAI与Anthropic如何在金融智能体中平衡自主性与安全性

在AI Engineer纽约大会上，OpenAI金融服务ChatGPT负责人Joseph Kim以「有用性阈值」为核心发表主题演讲。他将这一阈值定义为「模型能力与可靠性达到足以为用户节省时间的临界点」。Kim认为，随着模型能力持续提升，金融分析师将很快跨越这一门槛，能够将更多复杂工作安全地委托给智能体。他还预测，到2027年，AI将不仅替代Excel和PowerPoint的部分职能，更将具备投资创意生成与交易执行的能力。

Kim同时强调，模型能力的提升也带来了更好的可追溯性。他指出，金融场景中必须能够追踪每一个数据的来源及其背后的上下文，这种审查能力应当成为产品体验的自然组成部分。在人机协作边界的问题上，Kim将其定性为产品设计决策，建议团队现在就开始思考：哪些环节需要用户保留控制权、审查权或审批权，并据此设计相应的交互界面。

对冲基金Two Sigma的SVP架构师John Feminella分享了该公司在实践中落地的五项智能体控制机制。他明确反对将安全与创新视为对立关系，并特别批评了「审批疲劳」现象——当人工审批覆盖所有决策时，不仅会拖慢创新节奏，还会因注意力分散而引入新的风险。Two Sigma的控制机制具备可组合性，每项机制各司其职，共同支撑智能体在适当安全级别下实现真正的自主运行。其中，自动分类器负责处理常规请求，仅将最关键、最可能产生实质影响的决策推送给人工审核。

Anthropic金融服务董事总经理Belinda Neal与应用AI负责人Keon Shahab在大会上介绍了该公司为金融智能体工作流构建「信任层」的方法论。Shahab将这一过程拆解为三个步骤：首先建立身份与权限层，明确智能体代表谁行事；其次构建沙箱与审批机制，确保智能体在执行前获得人工确认；最后验证智能体在变量调整后的长期稳定性。他以交易差错调查智能体为例说明边界设计：该智能体只负责提出修正建议，而非直接执行修改操作。

彭博社首席技术官办公室架构与新兴技术负责人Andrey Rybka则从真实事故案例出发，阐述了将安全控制置于模型之外的重要性。他列举了智能体将市场评论中的嵌入指令误解为进货指令等真实案例，并推荐了一系列防御手段，包括输入验证、提示注入防护、来源追踪、高价值操作的人工审批，以及作用域身份凭证、工具调用管控、出站流量限制、审计日志、预算上限和紧急终止开关。他的核心主张是：在模型外部实施确定性控制，对每次调用进行检查与记录，并始终保留一个可随时触发的终止机制。

本次大会的整体共识可以用Two Sigma的Feminella的一句话来概括：汽车装刹车，不只是为了能停下来，而是为了能开得更快、停得更稳。前沿实验室正在为金融智能体构建信任框架，但最终的控制责任仍落在金融机构自身。各方一致认为，智能体安全自主的关键不在于施加多少限制，而在于将正确的控制机制放置在正确的位置——让智能体在边界内自由奔跑，而非被层层审批拖入泥潭。

要点

• OpenAI提出「有用性阈值」概念，预测2027年金融AI将具备投资创意生成与交易执行能力，可追溯性将成为产品标配。
• Two Sigma的实践表明，可组合的分层控制机制比全面人工审批更安全，自动分类器可有效过滤常规决策、聚焦人工审核资源。
• Anthropic为金融智能体设计的信任层包含身份权限、沙箱审批、长期稳定性三个维度，核心原则是「提议而非执行」。
• 彭博社主张将安全控制置于模型之外，通过确定性手段应对提示注入等真实威胁，并始终保留紧急终止开关。
• 各方共识：智能体安全自主的关键在于控制机制的设计位置与方式，而非限制数量的多少。