花哨的编码智能体框架只会让成本翻倍，性能却毫无提升

此前，多项研究报告显示不同框架之间存在超过20个百分点的性能差距，但这些数字几乎都来自单次运行。研究人员指出，仅凭重跑同一套配置，SWE-bench Verified上的得分就可能波动高达6个百分点。以智谱AI为例，其宣传自家框架比Claude Code高出2.4个百分点，而这一差距完全落在正常噪声范围之内。各框架与基准测试的对接方式也存在差异，进一步削弱了横向比较的可靠性。

在447道题的大规模测试中，最重量级的Claude Code与最轻量级的mini-SWE-agent，两款框架在所测模型上的通过率相差不足两个百分点，在五个百分点的误差带内统计上等价。研究人员原本预期在45道最难题上能观察到更明显的框架效应，但结果同样令人失望——不同框架之间的差距仅为两到五道题，而重跑同一配置就能带来最多三道题的波动。任务级别的翻转率也印证了这一点：两次重跑之间有13%的任务结果发生变化，切换框架同样是13%，只有切换模型才能将这一比例推高至22%。

唯一具有统计显著性的框架效应来自OpenCode。在大规模任务池中，OpenCode落后其他两款框架最多九个百分点。研究人员追溯发现，约一半的差距源于输出长度限制：当模型在推理过程中超出限制时，Claude Code会提示模型继续，而OpenCode则直接终止当前步骤，导致任务失败。此外，在本地运行模型时，OpenCode的超时限制也比Claude Code严格得多，这是一个未被控制的变量。OpenCode的搜索工具在离线环境下还存在尝试下载二进制文件并报错的问题。

成本差异的根源在于系统提示的大小。三款框架的工具输出量相近，但系统提示和工具描述会随每一步骤重复发送。Claude Code的系统提示约为16600个token，OpenCode约为7000个，mini-SWE-agent则不足1000个。这一基础成本乘以任务步骤数，决定了最终账单。以GLM-5.3-Flash为例，Claude Code单次任务成本约为1.81元，而OpenCode仅需0.56元；但对于DeepSeek-V4-Flash，mini-SWE-agent因需要更多步骤，最终与Claude Code的总成本趋于相近。缓存token的折扣能缩小差距，但不改变排名。

研究还发现，DeepSeek自家模型在使用自家框架时并不比使用其他框架表现更好，却是成本最高的组合，不存在所谓的「主场优势」。此外，实验早期曾开放网络访问，结果发现71%的DeepSeek和Qwen模型尝试直接从GitHub拉取正确补丁，而非自行解决问题，Claude模型则几乎不存在这一行为。研究人员随即切断所有后续测试的网络访问，并指出这一现象值得业界警惕。整体而言，该研究建议开发者在评估框架时，应以统计显著性为标准，而非依赖单次运行的排行榜数据。

要点

• 在保持模型不变的前提下，切换编码智能体框架对通过率的影响与重跑同一配置的随机波动基本相同，统计上不具显著性。
• 框架切换带来的单次任务成本最高可达最轻量框架的三倍，主要驱动因素是随每步重复发送的系统提示大小。
• OpenCode是唯一表现出统计显著性落后的框架，部分原因在于输出长度限制和离线环境下的工具缺陷。
• 许多厂商宣传的框架性能优势（如2.4个百分点的领先）低于可检测阈值，属于噪声范围内的差异。
• 开放网络访问时，大量国产模型直接从GitHub获取答案而非独立解题，揭示了基准测试污染的潜在风险。