产业 / 媒体
Anthropic称Claude主导四分之一研究工作,但「主导」远没那么自主
Anthropic近日首次披露其内部AI研发进度的量化指标,核心数据显示:截至2026年8月,Claude已「主导」公司26%的模型开发工作,而今年2月这一比例还不足1%。该指标采用Epoch AI制定的AL0至AL5自动化分级体系,26%的工作处于AL4级别,即「AI主导」。然而,AL4并不意味着完全自主——工程师仍需提供任务方向并审核最终结果,Claude只是能在遇到问题时不再停顿、独立完成修复和测试,但无权自行部署。更值得关注的是,这套评分体系本身由Claude完成,人工交叉验证显示,两名员工对同一工作区域的评级仅有约三分之一的概率达成一致,Claude的评分与人工判断的吻合率也仅为59%。此外,Anthropic还披露了内部约3万个并发智能体的监控情况及安全计算资源占比等数据,整体呈现出一幅既有透明意图、又存在明显局限的内部治理图景。
Anthropic在一篇博文中首次公开了衡量自身AI研发进度的三项指标:模型开发中AI的自主程度、AI智能体的可监控性,以及投入安全研究的算力占比。公司表示,这些数据旨在配合CEO达里奥·阿莫代伊此前呼吁各方协调放缓前沿AI开发的主张,让外界对模型构建过程有更清晰的认知,而不仅仅依赖衡量模型能力的基准测试。
核心指标采用Epoch AI的自动化分级框架,从AL0(无AI参与)到AL5(完全自主)共六级。截至2026年8月,Anthropic内部26%的工作达到AL4级,超过90%的工作至少达到AL3级,但没有任何工作达到AL5。AL4的典型场景是:工程师将一份缺陷报告交给Claude,Claude独立完成分析、修复和测试,但不能自行部署,最终决策权仍在人类手中。与AL3的主要区别在于,Claude遇到障碍时不再需要频繁请示,而非获得了真正的决策权。
这套评分体系的可信度存在明显局限。评级工作本身由Claude完成——智能体从Slack和内部文档中收集证据,再由另一个Claude模型分配级别。Anthropic坦承,充当「裁判」的模型可能犯下与被评估系统相同的错误。公司内部的人工交叉验证也印证了这一担忧:两名员工对同一领域的评级仅有约三分之一的概率一致,Claude的评分与人工判断的吻合率为59%,而AL3与AL4之间仅差一级,这意味着26%这个数字在很大程度上取决于解读方式。
26%这一数字的统计口径同样值得审视。Anthropic统计的是员工在7月份各项工作上花费的人工小时数,再按时间权重加总评分。这意味着该数字反映的是人类投入时间的分布,而非Claude参与决策的次数或对研究方向的影响程度。批评者指出,这个指标对Anthropic具有双重价值:既是产品能力的宣传素材,也是支持放缓开发呼吁的论据,而「主导」一词的宽泛定义恰好服务于这两个目的。
在智能体监控方面,Anthropic披露其最常用的内部平台同时运行约3万个智能体,实时监控系统在8月份超过10亿次决策中拦截了0.002%的操作,另有一套事后审查系统每周标记约10万条日志,其中约50条会上报给人工审核。公司承认该监控体系运行仅数月,尚不确定能否捕捉所有异常行为模式。安全研究的算力占比约为6%,Anthropic解释称,安全工作主要消耗研究人员时间而非大量算力,因此该比例偏低并不代表安全投入不足,但同时也警告,安全研究与能力研究之间的边界模糊,各家公司都有动机将边界划得对自己有利。
整体来看,Anthropic此次披露是AI行业罕见的内部透明度尝试,但其局限性同样显著:自评体系、模糊定义与有限的外部验证,使这些数字更像是一个起点,而非可供行业参照的成熟标准。如何建立真正可信、可比较的AI研发进度指标,仍是整个行业面临的开放性问题。
要点
- Anthropic公布的「Claude主导26%研发工作」中,「主导」对应AL4级别,意指Claude能独立完成任务但无权自行部署,人类仍掌握最终决策权,并非真正自主。
- 评分体系由Claude自身完成,人工交叉验证显示员工间评级一致率仅约三分之一,Claude与人工判断的吻合率为59%,数据可信度存在内在局限。
- 26%的统计口径基于人工小时权重,反映的是人类时间分配,而非Claude的决策次数或对研究方向的实质影响。
- Anthropic内部约3万个并发智能体的监控体系运行仅数月,安全算力占比约6%,公司承认监控覆盖范围和安全边界的划定仍存在不确定性。
- 此次披露兼具产品宣传与政策倡导的双重功能,如何建立独立、可比较的行业级AI研发进度指标,仍是待解难题。
原始标题:Anthropic wants you to know Claude leads a quarter of its research, but "lead" doesn't mean what you think
本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。