GitHub 推出 AI 代码审查开放基准测试

代码审查正在成为现代软件开发流程中不可或缺的环节，而 AI 驱动的代码审查智能体也随之快速普及。然而，如何客观衡量不同 AI 审查系统的真实能力，一直是业界面临的难题。不同系统在问题覆盖率、噪声水平和关键缺陷捕获能力上差异显著，开发团队在引入工具前往往缺乏可靠的参照依据。GitHub 推出 ReviewBench，正是为了填补这一空白，提供一套严谨、可复现的评测方法论。

ReviewBench 的语料构建以真实数据为基础。GitHub 团队分析了超过 1.039 亿条 Pull Request 的语言分布、仓库规模及变更形态，据此筛选出 219 条来自公开开源仓库的 Pull Request 作为基准语料。与此同时，团队对 Pull Request 规模分布做了一项刻意调整：适当降低单文件微小变更的比例，保留更多涉及多文件、具有实质审查价值的案例，使评测结果更贴近真实工作场景。

黄金标注集的构建采用三阶段流程：首先从人工审查员、作者后续提交、静态分析工具及多个前沿大语言模型中广泛收集候选发现；随后对语义重叠的发现进行去重合并，避免多源一致性人为抬高标注质量；最后在统一评分标准下逐条验证，只有真实、相关且非平凡的发现才被纳入黄金集。评分工作由 Claude Sonnet 5 担任 LLM 裁判，评分标准与裁判模型均对外公开，确保可审计性。

在评测指标设计上，ReviewBench 提供六项指标，分属两个维度。基于黄金集的精确率、召回率和 F1 分数衡量审查系统对已知问题的覆盖情况；增强精确率和增强召回率则进一步纳入审查系统新发现的有效问题，避免对探索能力强的系统产生惩罚。此外，框架还支持 Fβ 分数，允许团队根据自身对精确率或召回率的偏好灵活调整权重。

ReviewBench 还内置了严重程度与类别维度的细粒度拆分能力。每条发现均被标注为严重、中等或低三个严重级别，并归属于正确性、安全性、可靠性、可维护性或测试覆盖等类别。这使得不同团队可以根据自身工作流需求，选择最符合优先级的审查系统，而非依赖单一综合分数做出决策。

在内部验证层面，GitHub 表示 ReviewBench 已显著提升 Copilot 代码审查功能离线评估与线上实验之间的一致性——离线指标的改善往往能在线上实验中得到印证，回归同样如此。这一特性对于持续迭代 AI 审查智能体的团队尤为关键。目前，ReviewBench 已完整开放，包括评测语料、评分标准和裁判模型，供外部团队接入自有系统并提交评测结果。

要点

• ReviewBench 基于 1.039 亿条真实 Pull Request 的分布规律构建，涵盖 19 种语言，语料代表性强于现有多数基准。
• 多源标注策略结合统一评分标准与专家独立验证，黄金集标注一致率达 96.6%，有效保障了评测可信度。
• 六项评测指标同时覆盖已知问题与新发现问题，支持按严重程度和类别进行细粒度拆分，满足不同团队的差异化需求。
• 离线评测结果与线上实验走向高度吻合，为 AI 代码审查智能体的持续迭代提供了可靠的离线信号。
• 基准语料、评分标准及裁判模型均完整开放，外部团队可直接接入自有系统进行评测并提交结果。