研究 / 官方
Anthropic 披露对抗模型蒸馏攻击的最新防御进展
Anthropic近期发布研究报告,详述其在对抗模型蒸馏攻击方面取得的重大进展。所谓蒸馏攻击,是指攻击者通过大规模、隐蔽的方式从Claude等前沿模型中提取能力,并将其复制到其他模型中,整个过程未经原始开发者授权。Anthropic表示,新防御方法已将攻击者能够获取的数据量减少约90%至99%。报告指出,非法蒸馏存在双重风险:一是蒸馏所得模型往往缺乏与其能力相匹配的安全防护,可能被用于生物安全或网络攻击等高危领域;二是相关能力正被整合进外国军事、情报及监控系统,构成国家安全威胁。Anthropic以中国AI公司智谱和月之暗面为例,说明蒸馏攻击的实际危害,并坦承新防御措施在为合法用户带来一定不便的同时,也使公司拒绝了大量付费流量。
模型蒸馏攻击是指攻击者通过欺诈账号网络,向Claude等高能力模型发送海量请求,收集其输出结果,再用这些数据训练规模更小的模型,使其模仿前沿模型的行为。Anthropic指出,攻击者最看重的数据是Claude的推理过程记录——即模型在给出最终答案前写出的思考链。这类数据远比单纯的输出结果更有价值,因为它能帮助小模型理解Claude得出答案的逻辑路径。
面对早期的被动蒸馏攻击,Anthropic最初采取了让Claude在向用户展示推理内容前先进行摘要处理的策略。评估结果显示,这一措施显著降低了蒸馏数据的价值:在SWE-bench Verified编程基准测试中,基于完整推理记录训练的蒸馏模型得分为80.4%,而基于摘要推理记录训练的模型得分仅为71.8%。然而,攻击者随即转向主动提取策略,尝试通过各种指令诱使Claude直接输出完整推理内容。
攻击者的手段从简单粗暴到精心设计不等。简单的方式包括直接指示Claude逐字输出其隐藏推理,复杂的方式则包括某实验室测试了1.2万种不同请求以寻找突破口。攻击者还构建了控制数十万个欺诈账号的代理网络,在Claude未开放服务的地区转售访问权限,并使用虚假身份和盗取的支付信息注册账号。据Anthropic此前报告,单一网络曾同时管理逾2万个欺诈账号,攻击规模之大令人警惕。
在具体危害案例方面,Anthropic点名中国AI公司智谱在开发GLM-5.3模型期间蒸馏了美国领先模型的网络攻击能力。该公司曾尝试蒸馏Claude Fable 5,但发现Anthropic的网络安全防护降低了攻击效果后,转而使用旧版Claude模型及其他实验室的模型。美国超级智能创新与标准促进中心(CAISSI)评估认为,GLM-5.3是迄今发布的网络攻击能力最强的开放权重模型,且其安全防护极易被绕过。
在国家安全层面,Anthropic披露了月之暗面旗下Kimi模型的蒸馏行为:用户发送给Kimi的请求被秘密转发至Claude,以收集训练数据。其中一条请求来自疑似与中国人民解放军有关联的用户,内容涉及对特定个人的闭路电视监控分析。这一案例揭示了蒸馏攻击在军事情报与监控领域的潜在应用,也是Anthropic将其定性为国家安全威胁的重要依据。
Anthropic表示,其最新防御体系从三个独立维度干扰蒸馏攻击,同时将对合法用户的影响降至最低。公司坦承,这些措施带来了实质性的商业代价——拒绝了大量付费流量和数万亿token的请求,研究与产品团队也为此投入了大量时间和资源,部分合法用户还需更新其集成方式。Anthropic希望通过公开这些经验,帮助其他模型开发者和平台更好地理解蒸馏攻击的防御思路与权衡取舍。
要点
- Anthropic新防御措施已将蒸馏攻击者可获取的数据量减少约90%至99%,但代价是拒绝了大量合法付费流量并增加了运营成本
- 非法蒸馏的双重风险在于:蒸馏模型安全防护薄弱可能引发生物安全和网络攻击危害,同时相关能力正被整合进外国军事与情报系统
- 智谱GLM-5.3被评估为目前网络攻击能力最强的开放权重模型,其能力部分来源于对美国前沿模型的非法蒸馏
- 攻击者已从被动收集升级为主动提取,通过数十万欺诈账号构成的代理网络持续绕过防御措施,显示出高度的组织化和持续性
- Anthropic呼吁整个AI行业正视蒸馏攻击问题,并公开分享防御经验以推动行业层面的协同应对
原始标题:Strengthening our defenses against distillation attacks
本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。