AI资讯 / 产业

产业 / 媒体

Artificial Analysis Intelligence Index v5 发布,DeepSeek V4.1 Flash 夺得 FrontierCode 2.0 开源最高分

IT之家

Artificial Analysis 于 10 月 28 日发布 Intelligence Index v5,这是自 2026 年 1 月 v4 上线以来规模最大的一次基准重构。最核心的变化是将 60% 的评测权重转移至私有测试集或隐藏答案,以系统性压缩公开题库被训练数据污染的空间。编码维度引入 Cognition 同日发布的 FrontierCode 2.0,其 132 项任务全部来自真实开源仓库,评分标准从单元测试通过率改为仓库维护者的 PR 合并意愿。在这一新口径下,DeepSeek V4.1 Flash 1017 以 28% 成为所有已发布权重模型中的最高分。然而在综合榜单上,该模型与 GLM-5.3 并列 32 分,距榜首 Claude Opus 5.5 的 58 分仍有 26 分差距。v5 同步推出 Progress Index v1,用于跨越基准迭代、纵向追踪模型能力演进。

Artificial Analysis 发布的 Intelligence Index v5 在结构上延续九项评测、四大维度各占 25% 的框架,但此次重构的核心在于将 60% 的评测权重迁移至私有测试集或隐藏答案。这一设计旨在压缩各厂商针对公开题库进行专项优化的空间,让基准分数更接近模型的真实泛化能力,而非刷题成绩。

编码维度的变化最为显著。Cognition 与 v5 同步发布的 FrontierCode 2.0 独占编码权重中的 15%,其 132 项任务全部取自真实开源仓库,评分逻辑从「单元测试是否通过」转变为「仓库维护者是否愿意合并这个 PR」,任何阻塞性检查失败即记零分。这意味着模型生成的代码不仅要能运行,还需在改动范围、代码风格、回归风险等工程维度上达到可合并标准,「可合并性」由此取代「可运行性」成为编码能力评价的新中心。

在 FrontierCode 2.0 单项上,DeepSeek V4.1 Flash 1017 以 28% 位居所有已发布权重模型之首,Kimi K3.1 Pro 以 25.5% 紧随其后,但后者权重尚未正式发布。谷歌 Gemini 4 Argon 和 GPT-6 Luna 分别为 25.7% 和 25.2%,均低于 DeepSeek。不过这一领先仅限于单项:在 Intelligence Index v5 综合得分上,DeepSeek V4.1 Flash 与 GLM-5.3 同为 32 分,落后榜首 Claude Opus 5.5 的 58 分达 26 分之多。

v5 最值得关注的结构性发现是开源与闭源前沿之间的差距显著扩大。v4.3 时期,最强开源模型与榜首的差距仅为 3 分;v5 将公开题替换为私有题并大幅加重智能体实战任务比重后,这一差距扩大至 12 分。Kimi K3.1 Pro 以 46 分成为名义上最强的开源权重模型,但权重尚未发布;已发布权重的模型中,32 分是当前天花板。差距在 HLE-Diamond 和 Terminal-Bench-Science 两项上尤为突出,Claude Opus 5.5 在前者达 68%,GPT-6 Astra 在后者达 63%,而 Kimi K3.1 Pro 分别仅为 37% 和 34%。

v5 还放大了「努力值」(思考等级)对成本与性能的影响。Claude Opus 5.5 从低努力档到 max 档跨越 23 分,单任务成本从 0.98 美元升至 10.04 美元,相差约 10 倍;Claude Sonnet 5.5 不同档位间的分差从 v4.3 的 20 分扩大至 29 分。在得分最高的十款模型中,GPT-6.1 Terra 每任务成本最低为 0.96 美元,Claude Fable 5.1 最高为 13.04 美元,相差超过 13 倍,性价比维度的分化程度已不亚于能力本身。

与 v5 同步推出的 Progress Index v1 解决了另一个长期问题:当基准本身每隔数月就迭代一次,不同年代的模型难以在同一尺度上比较。Progress Index 将 2022 年 11 月以来发布的主要语言模型映射至连续能力尺度,参考了 Epoch AI 的 Epoch Capabilities Index 方法论。Intelligence Index 继续衡量「当下前沿」,Progress Index 则用于纵向追踪「能力随时间如何演进」,两套指标回答的是不同层面的问题。值得注意的是,v5 九项评测中没有任何一个模型全面领先,单项优势的分散程度比总分排名更能反映当前前沿模型的真实竞争格局。

要点

  • Intelligence Index v5 将 60% 评测权重转移至私有题库,系统性压缩了公开题库优化带来的分数水分,令基准更接近模型真实能力。
  • FrontierCode 2.0 以 PR 合并意愿替代单元测试通过率作为编码评分标准,DeepSeek V4.1 Flash 1017 在该项以 28% 夺得已发布权重模型最高分。
  • 开源与闭源前沿的综合差距从 v4.3 的 3 分扩大至 v5 的 12 分,已发布权重模型的天花板为 32 分,距榜首 Claude Opus 5.5 的 58 分仍有较大距离。
  • 同一模型在不同思考等级下的性能差距显著扩大,省钱模式与全力模式之间的表现分化已大到「不像同一个模型」。
  • 同步推出的 Progress Index v1 提供跨基准迭代的纵向能力追踪,与 Intelligence Index 形成互补的双轨评估体系。
查看原始来源

原始标题:Artificial Analysis Intelligence Index v5 基准上线,DeepSeek V4.1 Flash 1017 为 FrontierCode 2.0 开源模型最高成绩

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。