AI资讯 / 产业

产业 / 官方

120余家机构联合推进SAFE准则,为智能体AI网络安全构建共享防线

NVIDIA AI

在拉斯维加斯Black Hat安全大会开幕之际,Linux基金会发布了《共享AI发现交换》(SAFE)准则征求意见稿。该准则由开放安全AI联盟(Open Secure AI Alliance)工作组起草,联盟成员已超过120家机构,涵盖NVIDIA、Cisco、CrowdStrike、Hugging Face和Red Hat等行业领军企业。SAFE准则旨在将智能体AI的网络安全事件转化为整个生态系统的共享防护能力,核心内容包括:机密收集和分析AI安全事件及未遂事故、通知受影响方、识别反复出现的控制失效,并发布基于证据的操作建议以降低系统性风险。与此同时,联盟成员正在全栈范围内贡献开源工具,覆盖身份权限管理、运行时防护、安全模型评估、数据隐私保护等多个层次,共同构建可检验、可审计的AI安全基础设施。

随着AI智能体在企业环境中的大规模部署,网络安全威胁的复杂程度也在同步攀升。开放安全AI联盟在Black Hat大会期间发布SAFE准则征求意见稿,标志着行业正式将智能体AI安全纳入集体治理框架。SAFE准则的核心逻辑在于:当可信生态系统公开共享威胁情报时,集体防御将产生倍增效应。该准则提出机密收集AI安全事件、识别控制失效规律,并将分析结果转化为可操作的行业建议,帮助整个生态降低系统性风险。

NVIDIA在此次联盟贡献中覆盖了完整的安全技术栈。在研究层面,NVIDIA实验室推出的NOOA智能体研究框架已在GitHub开源,使智能体行为更易于测试、追踪和审计。NVIDIA OpenShell运行时则在智能体层面强制执行安全与隐私控制,限制智能体可访问的资源范围。此外,NVIDIA开源的验证智能体技能库为每项能力提供可移植指令集,经过提示注入和工具投毒等风险扫描后,以密码学签名方式发布,并附有技能卡文档,确保防御者清楚了解每项技能的来源与完整性。

在模型层面,NVIDIA旗下多个开源模型家族同步参与生态建设,包括面向智能体AI的Nemotron、面向物理AI的Cosmos、面向机器人的Isaac GR00T、面向医疗健康的BioNeMo,以及全球最大的自动驾驶商用授权模型Alpamayo。这些模型均以开放权重、数据集和训练技术的形式发布。NeMo Guardrails、NeMo Anonymizer和NeMo Safe Synthesizer则分别用于执行安全策略、保护敏感数据和生成隐私安全的合成数据。开源LLM漏洞扫描工具Garak可在模型上线前检测数据泄露、提示注入和越狱场景。

其他联盟成员也在防御技术栈的不同层次持续贡献力量。在身份与权限管理层面,Okta正在开发智能体身份与访问参考实现,展示开放协议如何使AI智能体安全连接企业应用;Palo Alto Networks贡献了Agent Guard和Agent Watch工具,帮助开发者应用身份安全最佳实践;Red Hat发起的开源项目asago则将NIST、OWASP和欧盟AI法案等治理要求直接映射到智能体运行时的行为边界,并生成从策略条款到实时控制的完整审计链路。

在智能体编排与工具层面,Amazon作为联盟最新成员,贡献了开源智能体构建工具包Strands Agents,以及可对AI智能体权限执行确定性、可验证边界的开源授权语言Cedar。Capital One开源了面向智能体AI代码安全的VulnHunter,Cloudflare提供了漏洞发现框架作为开源技能。微软AI红队则开源了PyRIT、RAMPART、Clarity和Assert等多款工具,分别用于自动化红队测试、将真实事件转化为可重复测试、识别设计假设缺陷,以及将自然语言安全要求转化为可执行评估。安全公司Wiz贡献的Atlas则是一款自主漏洞研究引擎,通过协调专业AI智能体发现和验证代码层面的安全缺陷。

SAFE准则的推出与联盟成员的全栈工具贡献,共同勾勒出智能体AI安全治理的新范式:从单点防御转向生态协同,从被动响应转向主动共享。随着AI智能体深度嵌入企业基础设施,安全边界的定义也在扩展——不仅是模型本身,还包括身份控制、运行时约束、日志审计和评估机制的完整系统。联盟超过120家成员机构的持续扩张,以及开源工具的快速积累,表明行业正在以集体行动应对这一没有终点的安全竞赛。

要点

  • Linux基金会发布SAFE准则征求意见稿,旨在将智能体AI安全事件转化为生态系统级别的共享防护,核心机制包括机密事件收集、控制失效识别和基于证据的操作建议
  • NVIDIA贡献覆盖完整安全技术栈,包括NOOA研究框架、OpenShell运行时、开源模型家族、验证智能体技能库以及Garak漏洞扫描工具
  • 联盟成员在身份权限、智能体编排、运行时防护、数据安全等多个层次持续贡献开源工具,Amazon、Palo Alto Networks、微软、Red Hat、Cloudflare等均有实质性贡献
  • asago项目将NIST、OWASP和欧盟AI法案等合规要求直接映射到智能体运行时行为,实现从政策条款到实时控制的端到端审计
  • 开放安全AI联盟成员已超过120家机构,集体防御与威胁情报共享正成为应对智能体AI安全挑战的核心策略
查看原始来源

原始标题:AI Leaders Propose SAFE Guidelines for Cybersecurity Transparency

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。