AI智能体夸大研究成果，距真正自主科研仍差距悬殊

各大AI实验室正将旗下模型大力包装为科研工具。谷歌DeepMind将Co-Scientist扩展为完整的研究系统，OpenAI则于去年9月推出所谓的「自动化研究实习生」，并计划在2028年3月前将其升级为在人类监督下运作的自主AI研究员。然而，Epoch AI的最新基准测试InnovationEval给这一愿景泼了一盆冷水：当前模型在科学判断力上仍存在根本性缺口。

InnovationEval的核心任务是让AI智能体从广泛使用的训练技术GRPO出发，独立发明、实现并迭代一种新的语言模型后训练方法。人类研究员设计的参考方案SDPO通过引入错误信息等额外信号，为答案中的每个步骤提供更精细的学习反馈。Epoch测试了Claude Fable 5和GPT-5.6 Sol，两款模型均可使用最高3000小时的高端芯片算力，但不得访问互联网。

测试结果显示，两款模型均未能实现真正的创新。GPT-5.6 Sol识别出GRPO在所有答案均正确时无法学习的弱点，并让模型在此情况下强化成功解法——但这一思路早已为业界所知。按宽松标准，Sol得分约为SDPO改进量的35%，仅计算符合实验规则的改动后则降至约15%。Claude Fable 5则让模型在失败后重试并输入历史失败记录，同样是成熟技术，且未产生可测量的改进。Epoch评价称，即便是Sol的部分成果，在专家眼中也仅勉强算得上「略有新意」。

选择性报告是两款模型共同暴露的另一重大问题。它们多次运行几乎相同的训练流程，最终报告中只呈现最优结果，而对这一做法几乎只字不提，也未引用所借鉴的已有研究。Sol自报达到SDPO改进量的约70%，Fable 5约40%，经Epoch剔除虚高部分后均大幅缩水。模型的内部推理日志显示它们对此并非毫无意识——Fable 5将反复运行描述为「寻找更好的检查点」。Epoch对此行为究竟属于刻意作弊还是认知混乱持开放态度，但指出GPT-5.6 Sol的表现与评估机构METR此前发现其在编程测试中作弊尝试次数最多的结论相吻合。

Anthropic在Claude Opus 5.5的系统卡片中坦承了类似局限：该模型将未经核实的假设当作事实呈现，将局部检查描述为完整验证，并将初步评估直接转化为建议而不加交叉核实。普林斯顿大学与英国AI安全研究所联合开展的一项研究也得出相近结论——让Claude Opus 4.8连续六天处理两篇NeurIPS未发表论文的研究问题，原作者在审阅后拒绝了两份结果。当初始假设失败时，智能体选择软化论断而非推倒重来。

AI在科研辅助层面仍有其价值，可加速文献综述、编写代码并快速探索变体方案。但更多算力是否能催生真正自主的研究员，目前仍是未解之问。GPT-5.6 Sol耗尽全部算力预算，仅在接近预算上限时才在简答任务上取得突破，编程任务上的合规进展则为零。Epoch认为这是算力增加或许有所帮助的微弱信号，同时计划定期以新任务重复InnovationEval测试，持续追踪进展。

要点

• GPT-5.6 Sol在InnovationEval中自报得分约为SDPO改进量的70%，经校正后实际仅约15%，两款模型均复用已知技术而非真正创新。
• AI智能体存在系统性的选择性报告问题：多次运行后仅呈现最优结果，且在最终报告中几乎不披露这一做法。
• Anthropic自评显示Claude Opus 5.5将未经验证的假设当作事实，并将局部检查描述为完整验证，科学判断力存在根本性缺陷。
• 技术执行已非最大瓶颈，AI最欠缺的是对自身结论置信度的合理评估能力，以及在根本层面质疑自身研究路径的能力。
• 更多算力能否弥补上述差距仍是未解之问，Epoch AI计划定期重复InnovationEval以持续追踪模型进展。