递归自我改进安全研究员
岗位摘要
支持为加速AI发展做准备，包括可能最终走向递归自我改进的情景；预测未来可能出现但当前未必存在的错位风险，并制定相应缓解措施；设计并实施更好的部署前风险评估、控制措施以及与RSI相关的训练干预
岗位职责
- 支持为加速AI发展做准备，包括可能最终走向递归自我改进的情景
- 预测未来可能出现但当前未必存在的错位风险，并制定相应缓解措施
- 设计并实施更好的部署前风险评估、控制措施以及与RSI相关的训练干预
- 将技术工作转化为机构实践和对外沟通材料
- 开展可扩展监督，建立对模型不当行为的监控与监督实践，使其在超人能力情境下仍然有效
- 开展自动化审计，从生产流量中寻找最严重的模型错位，并在部署前可靠引出尾部风险
- 对与失控相关的模型不当行为进行严格测试和红队评估，包括奖励黑客、消极怠工和密谋等，并准备应对思维链可监控性丧失
- 设计实验和评估，理解模型错位程度以及安全相关能力与危险能力之间的差距，可能训练不当行为的模型有机体或开展训练干预
- 原型化技术机制，以验证对未来AI安全协议的合规性
- 跟踪技术员工自动化进展，为OpenAI在对齐和安全方面的近期投资提供信息
- 维护并强化RSI安全案例，识别并解决可能遗漏的缓解盲点
- 在严谨假设驱动研究与将洞见转化为影响生产模型的干预或控制系统之间交替，偶尔支持工程团队
- 认真考虑OpenAI可能面临的问题
任职要求
- 具备强大的技术执行力，能够支持加速AI发展的准备工作
- 能够预测未来可能出现但当前未必存在的错位风险，并具备良好的判断力与战略眼光
- 能够在紧迫、快节奏且影响深远的工作环境中开展工作
- 能够开展严谨的假设驱动研究，并将洞见转化为干预措施或控制系统
- 能够跨领域处理失控风险缓解，包括风险评估、控制措施、训练干预及制度实践