研究员,智能体安全、监督与系统缓解
岗位摘要
设计、构建并评估智能体行动的系统级控制措施,例如基于智能体的审查,并规划其如何融入包含进程隔离沙箱与权限边界的更广泛系统;与Codex执行框架工程团队紧密合作,将AI控制措施产品化;对端到端智能体系统进行红队测试,衡量控制措施能否阻止数据外泄、不安全工具使用及其他有害结果
岗位职责
- 设计、构建并评估智能体行动的系统级控制措施,例如基于智能体的审查,并规划其如何融入包含进程隔离沙箱与权限边界的更广泛系统
- 与Codex执行框架工程团队紧密合作,将AI控制措施产品化
- 对端到端智能体系统进行红队测试,衡量控制措施能否阻止数据外泄、不安全工具使用及其他有害结果
- 通过衡量并减少漏报的有害行动、不必要的阻断、审批负担和延迟,改善安全与生产力之间的权衡
任职要求
- 具备强大的系统或安全直觉,能够具体推理复杂系统中的隔离边界、权限、攻击面和失败模式
- 乐于将模糊的安全问题转化为具体威胁模型、可复现实验和实用缓解措施,并根据部署证据调整方法
- 能够构建稳健的实验基础设施,并设计能区分有前景与脆弱缓解措施的评估
- 对前沿AI对齐、安全与控制有浓厚兴趣
福利待遇
- 采用混合办公模式,每周3天在办公室工作
- 为新员工提供搬迁援助
- OpenAI致力于平等就业机会,不因种族、宗教、肤色、国籍、性别、性取向、年龄、退伍军人身份、残疾、遗传信息或其他受法律保护特征而歧视