研究员，安全 - 前沿保障
岗位摘要
与外部评估者和内部团队合作设计评估方案，识别需测试的关键安全声明，定义评估所需的证据和方法，并解决覆盖缺口；支持第三方评估和嵌入式审计的技术执行，与评估者合作将研究问题转化为实验、分析和证据要求
岗位职责
- 与外部评估者和内部团队合作设计评估方案，识别需测试的关键安全声明，定义评估所需的证据和方法，并解决覆盖缺口
- 支持第三方评估和嵌入式审计的技术执行，与评估者合作将研究问题转化为实验、分析和证据要求
- 与外部研究员紧密合作，提供评估模型和保障措施所需的数据、技术文档和背景信息，帮助他们理解相关系统行为、配置和局限性
- 与工程和安全团队合作，设计并实施评估环境的安全访问机制，使相关模型、工具和信息可用
- 在直接访问受限时，代表评估者进行实验和分析，协作开发方法，记录实施选择，并使结果可重现且可被质疑
- 构建自动化审计、评估工作流程和内部保障工作的工具，包括证据收集、评估执行以及跟踪模型或保障版本的变化
- 重现外部发现，调查与内部结果的差异，并与相关团队合作测试建议的缓解措施并识别未解决的问题
- 清晰记录方法、发现和局限性，使评估者和内部决策者能够理解证据所证明的内容以及仍存在的不确定性
任职要求
- 具备强大的软件工程技能，有构建研究工具、评估基础设施或分析复杂数据系统的经验
- 具有使用现代机器学习系统的实践经验，包括设计实验、运行评估和解释结果
- 能够驾驭不熟悉的代码库和基础设施，跨系统边界调试，并将模糊的研究请求转化为可靠的技术实现
- 在实验设计和测量方面具备良好的判断力，包括识别混杂因素、局限性和证据缺口
- 乐于与研究人员密切合作，解释技术系统，并帮助他人理解复杂概念