AI资讯 / 模型

模型 / 官方

Anthropic与埃森哲达成嵌入式评估合作,双方五年投入各超10亿美元

Anthropic News

Anthropic宣布与全球咨询巨头埃森哲达成合作,共同推进前沿AI的独立嵌入式评估工作。此次合作由埃森哲旗下AI专业业务部门Faculty主导,内容涵盖模型评估、红队测试、对齐评估及安全防护机制测试。双方计划在未来五年内各自投入至少10亿美元用于相关能力建设。与传统外部评估不同,嵌入式评估人员将深入AI公司内部工作,享有接近员工级别的访问权限,能够全程跟踪模型训练过程、了解关键决策,并直接与员工沟通。这一机制旨在提升AI公司安全承诺的可验证性,而非转移其自身责任。Anthropic表示,此次合作为非排他性安排,未来数周内还将公布与其他评估机构的合作计划,并持续探索建立多元评估生态系统的路径。

Anthropic正式宣布与埃森哲展开战略合作,共同推进前沿AI模型的独立嵌入式评估。此次合作由埃森哲旗下专注AI业务的Faculty部门主导,工作范围涵盖模型评估与红队测试、对齐能力评估,以及模型安全防护机制的系统性测试。这一举措是Anthropic CEO在题为《我们必须引领前沿》的文章中所作承诺的重要落地步骤,标志着AI安全评估从外部审查向深度嵌入式合作的实质性转变。

与现有外部评估机制相比,嵌入式评估的核心差异在于评估人员的介入深度。嵌入式评估人员将在AI公司内部工作,拥有接近员工级别的系统访问权限,能够实时观察模型训练过程、追踪影响模型构建与部署的关键决策,并与内部员工直接沟通交流。这种深度参与使评估人员能够更全面地评估公司运营状况,核实安全承诺的执行情况,并识别潜在盲点,从而为公众提供更具参考价值的风险与收益评估报告。

埃森哲在企业和政府AI部署领域积累了丰富的跨行业经验,这一背景将为评估工作带来独特的实践视角。Anthropic强调,引入独立嵌入式评估并不意味着自身责任的转移,模型安全性仍由Anthropic全权负责。嵌入式评估机制的价值在于使安全承诺的履行更具可验证性,为外界提供更透明、更可信的安全保障依据。双方计划在未来五年内各自投入至少10亿美元,用于构建这一领域的评估能力。

在资金安排方面,Anthropic坦承当前嵌入式评估领域尚无成熟的独立资助体系。从长远来看,Anthropic认为评估资金应来源于共同基金或政府渠道,这与其今年六月发布的《先进AI框架》中的主张一致。在上述机制尚未建立的当下,Anthropic将直接资助埃森哲的评估工作,同时也在与METR及其他非营利评估机构探讨合作,支持这些机构以自有资金试点嵌入式评估的部分要素。

Anthropic明确表示,此次与埃森哲的合作为非排他性安排。未来数周内,公司还将陆续公布与其他评估机构的合作计划;埃森哲同样可与其他AI开发商开展类似合作。Anthropic的长期愿景是构建一个由多元评估机构组成、遵循共同标准的前沿AI评估生态系统,推动各大前沿实验室同时与多家评估组织协作。公司表示将持续公开评估工作的进展,以供其他AI开发者参考借鉴,并随着领域的成熟不断完善相关方法论。

要点

  • Anthropic与埃森哲旗下Faculty达成嵌入式AI评估合作,双方五年内各自投入至少10亿美元,工作涵盖红队测试、对齐评估和安全防护测试。
  • 嵌入式评估人员将深入AI公司内部,享有接近员工级别的访问权限,能够全程跟踪模型训练与关键决策,显著提升安全承诺的可验证性。
  • Anthropic强调模型安全责任仍由自身承担,嵌入式评估机制旨在增强透明度而非转移责任。
  • 当前嵌入式评估缺乏统一标准和独立资助体系,Anthropic将直接资助埃森哲,同时与METR等非营利机构探索多元资金模式。
  • 此次合作为非排他性安排,Anthropic计划与更多评估机构合作,致力于构建多元化的前沿AI评估生态系统。
查看原始来源

原始标题:Partnering with Accenture on embedded evaluation

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。