产业 / 媒体
前Anthropic员工与METR前COO联手创业，为企业AI智能体提供安全认证
随着AI智能体在企业中的部署规模持续扩大，如何防止其「失控」成为各方关注的核心问题。前Anthropic早期员工Rune Kvist与METR前首席运营官Rajiv Dattani联合创立了人工智能承保公司（AIUC），专注于为企业级AI智能体提供第三方安全审计与认证服务。该公司近日宣布完成由Ribbit Capital领投的4000万美元A轮融资，First Harmonic参投，加上此前由Nat Friedman、Anthropic联合创始人Ben Mann等参与的1500万美元种子轮，累计融资总额达5500万美元。AIUC参照网络安全领域广泛采用的SOC 2标准，自主开发了名为AIUC-1的AI安全标准，并构建了一套包含约5000项测试的评估体系，涵盖越狱攻击、幻觉生成和数据泄露等场景，最终输出约100页的审计报告。Cursor、Lovable、Harvey、ElevenLabs等已成为其客户。
在Anthropic研究员Jacob Coxon因担忧AI安全风险公开辞职后的第二天，Rune Kvist和Rajiv Dattani接受了媒体采访。两人既是联合创始人，也是连襟关系——Kvist是Anthropic的早期员工，同时也是Dattani姐姐的丈夫；Dattani则曾于2024年至2025年间担任AI安全研究机构METR的首席运营官，目前仍是该机构的董事会成员。他们共同创立的AIUC，正试图将AI安全能力系统化地引入企业场景。
Kvist指出，AI能力的快速提升并未让企业部署变得更简单，反而带来了更大的控制难题。「银行、医院、政府和军队拒绝部署AI，不是因为模型不够聪明，而是因为他们对客户做出了承诺，规定了系统能做什么、不能做什么，而目前没有任何机制能够保障这一点。」这一判断正是AIUC商业逻辑的核心出发点。
AIUC以网络安全领域的SOC 2合规标准为蓝本，开发了专属的AI安全标准AIUC-1。为确保标准贴近实际采购需求，公司组建了一个由约250名安全与风险负责人构成的联盟，每月与他们沟通，收集在采购AI智能体时最关注的问题与评估维度。这些反馈直接转化为测试用例，形成覆盖越狱攻击、幻觉生成、数据泄露等场景的约5000项测试，最终生成一份约100页的详细审计报告。
在测试执行层面，AIUC本身也大量使用AI智能体来运行测试并分析数据，但最终的审计结论由人工核验把关。Dattani表示，报告的目标是清晰呈现智能体在哪些方面表现可靠、在哪些方面存在风险，从而帮助企业在采购决策前做出知情判断。这一模式与METR为前沿实验室提供的独立评估服务在理念上高度一致，但AIUC的服务对象是企业端的智能体采购方，而非模型开发方。
从更宏观的行业背景来看，Anthropic CEO Dario Amodei近期也公开呼吁AI行业放缓前沿模型的开发节奏，并提出可考虑要求前沿实验室引入嵌入式第三方评估机构，METR被点名为候选之一。AIUC虽未提出嵌入客户现场的方案，但其独立第三方审计的定位与这一方向高度契合，也因此吸引了Ribbit Capital等一线投资机构的关注。目前，Cursor、Lovable、Harvey、ElevenLabs等知名AI产品公司已成为AIUC的客户。
要点
- AIUC完成4000万美元A轮融资，累计融资达5500万美元，由Ribbit Capital领投
- 公司推出AIUC-1标准及约5000项测试的审计体系，覆盖越狱、幻觉、数据泄露等风险场景
- 标准制定参考了约250名企业安全与风险负责人的实际采购需求，具有较强的行业代表性
- Cursor、Harvey、ElevenLabs等头部AI产品公司已成为其客户，验证了市场需求
- AI智能体安全认证正成为企业部署AI的关键门槛，第三方审计模式有望成为行业基础设施
原始标题：Early Anthropic hire, former METR COO have found a way to rein in rogue AI agents
本文由 DataHub 基于公开来源整理，用于信息发现与摘要阅读；具体事实、数据和后续更新以原始来源为准。