安全与对齐研究工程师
岗位摘要
构建智能体安全评估：针对自主智能体的关键故障模式（如不安全操作、提示注入、数据泄露、沙箱逃逸、奖励黑客和滥用）设计和运行评估，并确保其速度足以在每次模型和产品发布时运行；对 Devin 进行红队测试：系统性地攻击智能体及其框架，在客户之前发现故障，并将其转化为修复和回归测试
岗位职责
- 构建智能体安全评估：针对自主智能体的关键故障模式（如不安全操作、提示注入、数据泄露、沙箱逃逸、奖励黑客和滥用）设计和运行评估，并确保其速度足以在每次模型和产品发布时运行
- 对 Devin 进行红队测试：系统性地攻击智能体及其框架，在客户之前发现故障，并将其转化为修复和回归测试
- 开发对齐方法：与后训练团队合作，研究奖励建模、偏好数据、宪法方法等技术，在提升模型安全性的同时不损害其工作能力
- 塑造智能体框架：与智能体团队合作，设计权限、监督和升级机制，明确 Devin 何时应行动、何时应询问以及如何解释自身行为
- 发布与分享：通过论文、评估和开放方法为 Cognition 的外部安全工作做出贡献
任职要求
- 安全或对齐研究经验：在前沿 AI 实验室或已发表研究中拥有评估、红队测试、对齐或可解释性方面的实践经验，并曾构建改变模型训练或部署方式的工作
- 智能体系统理解：了解智能体在实践中的失败模式（如工具误用、规范游戏、长时程漂移、对抗性输入），并已进行测量或有具体想法
- 扎实的工程基础：精通 Python 和 PyTorch（或 JAX），能够构建评估基础设施、大规模运行实验并阅读训练和推理代码
- 实证严谨性：设计清晰的实验，诚实地报告结果，并能区分真实改进和噪声
- 适应对抗性思维：喜欢破坏系统并擅长此道
- 相关行业经验：曾在前沿 AI 实验室、应用 AI 公司或开发者工具公司工作
- 高级学位：计算机科学、机器学习、物理学、数学或相关学科的博士学位，或同等行业研究经验
福利待遇
- 有机会解决世界上一些最大的问题，并构建能够在现实世界任务中进行推理的 AI
- 成为安全团队的创始成员，直接向安全负责人汇报，并在实际智能体运行循环中开展安全研究
- 与一支人才密集的团队合作，包括世界级竞赛程序员、前创始人和来自 Scale AI、Palantir、Cursor、Waymo、Tesla、Lunchclub、Modal、Google DeepMind 和 Nuro 等前沿 AI 公司的领导者
- 通过论文、评估和开放方法为外部安全工作做出贡献
- 作为平等机会雇主，Cognition 致力于在招聘过程中为残疾候选人提供合理的便利