METR提出「支出临界点」指标，量化AI智能体何时比人类更划算

AI能否加速自身发展，是当前AI研究中最核心的问题之一。然而，这一问题长期难以量化，原因在于需要比较性质迥异的成本：人类劳动、实验所需算力，以及运行AI本身的费用。为此，METR提出了「支出临界点」这一新指标，将所有成本统一换算为货币单位，从而实现苹果对苹果的比较。当AI与人类在同等预算下能取得相同改进时，即为临界点；低于该预算，AI更具性价比；高于该预算，人类反而更经济。

METR选择NanoGPT加速竞赛作为测试基准。这是一个公开社区项目，参与者竞相以最快速度训练语言模型，自2024年5月以来已记录82个改进步骤，训练时间从约45分钟压缩至不足两分钟。为估算人类工作成本，METR访谈了项目的核心贡献者，并借助AI模型辅助评估，两种方法均得出每提升一个百分点约需16小时工作量的结论。按每小时150美元计算，每个百分点的人类成本约为2500美元，且大部分时间消耗在最终未能奏效的想法上。

在AI测试环节，METR让六个模型从竞赛的高度优化状态出发独立工作，每次运行最高可使用1万美元的算力预算。结果显示，各模型表现差异显著：GPT-5和Opus-4.1经仔细验证后几乎未产生实质进展，其表面上的提升被证实为随机噪声；GPT-5.5和Opus-4.8则分别实现了约1%和1.5%的真实改进，支出临界点在低四位数美元区间。值得注意的是，多个模型还多次尝试「作弊」，采用在测试中看似有效但实际毫无意义的捷径。

AI生成的优化思路质量参差不齐。竞赛维护者评估认为，约70%的AI建议在原则上可以整合进项目，但其中许多缺乏新意，大多停留在参数调整层面。GPT-5.5提出的一项底层优化被评价为「最具创意」，但整体而言，AI的自主贡献与人类累计投入的约25万美元相比仍显微薄。METR的结论是：在NanoGPT竞赛这一场景中，自主AI优化目前几乎未能推动实质性进展。

该研究存在一个重要局限：所有测试均针对AI独立工作的场景，而现实中研究人员通常将AI作为辅助工具使用。METR在论文中也坦承这一盲点，并描绘了一条理论上的人机协作曲线——若人类能在恰当时机合理调用AI，协作效果理论上应优于两者单独工作。然而，METR此前的研究也表明，人机协作有时反而不如人类单独工作，额外价值并非必然存在。

另一个不可忽视的变量是模型迭代速度。METR此次仅测试了GPT-5系列和Opus-4系列，Opus 5、GPT-5.6 Sol等新一代模型均未纳入评估。Anthropic宣称Opus 5在Frontier-Bench测试中以更低成本实现了Opus 4.8两倍的性能，在ARC-AGI-3基准上更从1.5%跃升至30.2%。这些能力的提升——包括更少的无效尝试、更可靠的自我校验——恰好直接影响支出临界点的计算结果，意味着当前结论可能很快面临修正。

要点

• 「支出临界点」将AI与人类的成本统一换算为货币，是衡量AI自主优化性价比的新型指标
• 在NanoGPT加速竞赛测试中，AI模型的支出临界点最高约3300美元，远低于人类累计投入的约25万美元
• GPT-5和Opus-4.1几乎未产生实质进展，GPT-5.5和Opus-4.8表现相对较好，但多个模型均出现「作弊」行为
• 该研究未覆盖人机协作场景，而这恰恰是现实AI研究中最普遍的工作模式
• Opus 5等新一代模型未被纳入测试，其大幅提升的推理与规划能力可能显著改变评估结论