谷歌用密码学双盲评估破局

AI基准测试的可信度问题由来已久。当一个模型在训练数据中已经接触过测试题目，其测试成绩便失去了参考价值，这种现象被称为「基准污染」。谷歌DeepMind用一个直白的比喻描述这一困境：如果考生提前拿到了试卷，即便满分也毫无意义。随着前沿模型能力不断提升，如何确保评估结果的真实性，已成为整个AI行业亟待解决的核心问题。

此前，外部机构对AI模型进行高度敏感评估时，往往面临两难选择：要么将测试提示词交给模型提供商，导致对方提前知晓题目；要么让提供商开放模型权重，又面临知识产权泄露的风险。这一困境并非假设——Anthropic旗下Fable 5模型在接受ARC-AGI基准测试时，正是因为该公司对最强模型执行30天数据留存政策，导致评估工作被迫推迟，引发广泛关注。

谷歌DeepMind此次推出的双盲评估方案，旨在从技术层面彻底消除上述两难困境。方案的核心是谷歌云机密计算产品组合中的Confidential Space技术，通过密码学验证机制，确保外部测试数据与模型本身始终处于各自所有者的私密空间内。评估方无法接触Gemini的模型权重，谷歌也无法看到测试提示词，双方的核心资产均得到独立保护。

此次试点项目以Gemini Flash Lite系列模型为测试对象，由新加坡AI安全研究所提供保密基准测试题目。在此之前，外部提示词的保密主要依赖零日志协议和合同条款约束，而此次引入技术层面的密码学保护，被谷歌视为安全模型评估领域的重大进步。相关方法论与测试结果的详细内容已发布于技术报告中。

谷歌DeepMind强调，这一机制在网络安全评估、政府机构委托测试等高度敏感场景中价值尤为突出。独立机构可以在不放弃数据主权或安全保障的前提下，对先进AI模型进行严格测试。谷歌希望这一努力能够为行业树立模型监督的新标准，帮助整个生态建立起更可靠、更广泛被信任的AI评估体系，从而让基准测试真正回归其应有的参考价值。

要点

• 谷歌DeepMind联合新加坡AI安全研究所，首次对专有前沿AI模型实施密码学双盲评估，试点模型为Gemini Flash Lite系列。
• 方案采用谷歌云Confidential Space技术，评估方看不到模型权重，谷歌看不到测试提示词，双方核心资产均受密码学保护。
• 此举旨在解决基准污染问题，同时打破此前评估机构与模型提供商之间「要么暴露题目、要么暴露权重」的两难困境。
• 该机制对网络安全评估和政府机构委托测试等高敏感场景尤为重要，有望成为行业可信AI评估的新标准。