安全负责人
岗位摘要
端到端负责安全：制定Devin及其背后模型的安全战略，并对结果负责；构建评估计划：设计针对代理风险的评估和红队测试，包括不安全行为、提示注入、数据泄露、沙箱逃逸、奖励黑客和滥用，并将其纳入每个模型和产品发布
岗位职责
- 端到端负责安全：制定Devin及其背后模型的安全战略，并对结果负责
- 构建评估计划：设计针对代理风险的评估和红队测试，包括不安全行为、提示注入、数据泄露、沙箱逃逸、奖励黑客和滥用，并将其纳入每个模型和产品发布
- 塑造训练和代理框架：与预训练、后训练和代理团队合作，将安全构建到模型训练方式以及Devin计划、行动和寻求帮助的方式中
- 制定部署政策：定义Devin允许和不允许做的事情、权限和监督如何运作以及如何处理灰色地带，以经得起企业客户的检验
- 建设团队和外部声音：招聘并领导安全研究员和工程师，代表Cognition的安全工作与客户、政策制定者和更广泛的研究社区沟通
任职要求
- 前沿实验室安全或对齐经验：在前沿AI实验室从事过安全、对齐、评估或红队测试的实践工作，已交付影响真实模型或产品的安全成果
- 代理系统深度：了解代理在实践中如何失败：工具滥用、规范博弈、长程漂移、对抗性输入，并有关于如何测量和缓解的想法
- 研究信誉：有发表或广泛使用的安全研究、评估或方法的记录，计算机科学、机器学习或相关领域的高级学位是加分项
- 技术流畅性：熟悉Python和训练推理栈，能阅读代码、运行评估并与研究人员细节争论
- 建设者而非审查者：曾启动或扩展安全职能，更喜欢交付缓解措施而非撰写备忘录
- 不确定性下的判断力：能在信息不完整的情况下对部署风险做出明确决策，并向工程师、高管和客户解释