产业 / 媒体
AI智能体如同内部威胁,前沿模型不可盲目信任
微软于10月19日发布多项企业级AI安全新功能,核心是名为Guardian Agents的监控工具,旨在追踪企业内部部署的各类AI智能体行为。微软安全业务负责人海耶特·加洛特明确表示,无论来源如何,前沿模型都不可被无条件信任——原因并非恶意或易被入侵,而是其本质上具有不可预测性:这些模型被训练来完成任务,而非遵循组织规范与判断。CEO萨提亚·纳德拉此前在私人博客中也发出警告,认为企业不应将对AI行为的监督责任外包给模型提供商,必须建立独立于AI实验室之外的管控体系。微软同步升级了Microsoft Defender,新增可识别多达60种员工自带智能体的检测功能,并加入动态权限调整与人工审批机制。此举在商业逻辑上颇具争议,因为微软本身是OpenAI和Anthropic的重要投资方,却在主动推动企业对这两家公司的产品保持警惕。
微软于本周一正式推出一系列面向企业的AI安全新功能,其中最受关注的是Guardian Agents——一款专门用于监控企业内部AI智能体行为的工具。该功能隶属于今年6月发布的Project Perception项目,后者最初以模拟黑客攻防为核心,设有红队、蓝队和绿队三类智能体,分别负责攻击、检测和修复安全漏洞,整体设计假设威胁来自企业外部。
然而,微软CEO萨提亚·纳德拉近期将视角转向了内部风险。他在私人博客中警告称,企业自行部署并付费使用的AI智能体,本身可能成为类似「内部威胁」的隐患,就像一名行为失控的员工。他强调,企业不能将AI行为的责任外包给模型提供商,必须建立独立于AI实验室控制之外的监督机制,实现「智能供给」与「权限管控」的分离。
微软安全业务负责人海耶特·加洛特在Guardian Agents发布声明中措辞更为直接:前沿模型无论来自何处,都不可被信任。她解释说,这并非因为这些模型存在恶意或容易遭到入侵,而是因为它们天生具有不可预测性。这些模型被训练的目标是完成任务,而非遵循组织的规范与判断,而它们往往又被赋予了访问敏感数据和执行关键操作的权限,潜在风险不容忽视。
在具体产品层面,微软对Microsoft Defender进行了升级,新增智能体检测功能,可识别员工引入工作环境的多达60种智能体,包括Claude Code、Codex和OpenClaw等。此外,微软还引入了动态权限调整机制,可根据任务性质限制智能体对数据和系统的访问范围,并在智能体疑似做出高风险决策时强制要求人工审批。
这一系列举措在商业层面颇为微妙。微软是OpenAI和Anthropic的重要投资方,OpenAI也是其云服务的大客户,微软自身亦在运营AI实验室。如今微软却主动向企业传递对这些合作伙伴产品的不信任信号,表面上与自身商业利益相悖。但其背后逻辑并不难理解:监控智能体行为的软件理应独立于智能体供应商,正如审计机构须独立于被审计对象一样。
这一理念正在整个行业蔓延。微软已成为英伟达新发布的开放智能体安全平台(Open Agent Safety Platform)的创始成员,该平台获得逾百家科技公司支持,通过硬件层面将智能体隔离在安全环境中,并具备监控和终止异常行为的能力,相当于一个物理级别的「熔断开关」。与此同时,微软还发布了专为智能体设计的Surface Laptop Ultra系列PC,搭载英伟达芯片,并内置智能体安全与管控功能。
要点
- 微软推出Guardian Agents,将AI智能体监控纳入独立于模型供应商的安全体系,强调企业须自主掌握对AI行为的管控权。
- 微软安全负责人明确表示前沿模型不可盲目信任,根本原因在于其不可预测性,而非恶意——它们被训练来完成任务,而非遵循组织规范。
- Microsoft Defender新增可识别60种员工自带智能体的检测功能,并引入动态权限调整与人工审批机制,强化企业侧防控能力。
- 微软加入英伟达主导的开放智能体安全平台,该平台已获逾百家科技公司支持,通过硬件级隔离和熔断机制应对智能体失控风险。
- 尽管微软与OpenAI、Anthropic存在深度投资与合作关系,此次举措仍主动推动企业对这些合作伙伴的产品保持独立审查,商业逻辑与合作利益之间的张力值得关注。
原始标题:Microsoft says AI agents are like insider threats as ‘frontier models can’t be trusted’
本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。