Kimi K3并非通过蒸馏Anthropic的Fable模型获得突破

美国白宫科学顾问Michael Kratsios近日在社交媒体上发文，指控中国AI公司Moonshot通过大规模、隐蔽的工业蒸馏手段，窃取了Anthropic的Fable模型，并使用了禁止出口到中国的先进芯片。Kratsios表示，这种行为不可接受，并引发了关于禁止中国开源模型的讨论。然而，Moonshot并未回应关于其训练过程的质疑，Kratsios也未提供更多证据。

多位AI专家对Kratsios的指控表示怀疑。Laude Institute研究员Braden Hancock指出，Fable模型自7月1日才公开发布，要在两周内完成蒸馏、训练并发布新模型几乎不可能。Allen Institute for AI研究员Nathan Lambert也认为，随着中国模型接近前沿，蒸馏技术的影响力正在减弱，仅靠监督微调无法实现Kimi K3的突破。

蒸馏技术通常需要系统性地查询目标模型以生成训练数据，但专家表示，要复现Fable级别的能力可能需要强化学习技术，而这需要庞大的基础设施和极高的成本。使用前沿模型的API进行大规模强化学习运行不仅昂贵，还可能因模型速度慢而成为瓶颈，甚至无法带来性能提升。

Anthropic此前曾公开指控Moonshot、DeepSeek和MiniMax系统性地蒸馏其模型，并发现了数百万次异常查询。然而，蒸馏在AI行业中并不罕见，Elon Musk今年早些时候也承认其公司SpaceXAI蒸馏了OpenAI的模型。Hancock强调，美国低估了中国AI团队的技术实力，Moonshot的创始人之一是卡内基梅隆大学的博士，这些研究人员正在做扎实的工作。

Kratsios的指控还涉及芯片出口管制问题。Moonshot被指获得了禁止出口到中国的Nvidia Grace Blackwell 300芯片，并通过泰国服务器进行训练。Georgetown大学研究员Sam Bresnick指出，芯片黑市交易存在，但缺乏有效的监管机制。尽管拜登政府曾在2024年提出数据中心客户身份验证规则，但至今未有进展。

要点

• 美国官员指控Moonshot通过蒸馏Anthropic的Fable模型开发Kimi K3，但专家认为时间和技术上不可行。
• 蒸馏技术的影响力正在减弱，中国AI团队的自主研发能力被低估。
• 芯片出口管制存在漏洞，黑市交易和监管缺失问题突出。
• 蒸馏在AI行业中普遍存在，并非中国公司独有。