研究科学家,智能体鲁棒性
岗位摘要
研究 AI 智能体能力的科学,重点关注其与安全性、风险因素及基准测试方法之间的关系;设计并构建测试工具,评估 AI 智能体在用户施压或被环境因素诱导时采取有害行动的倾向;针对 AI 智能体获得编码、网页浏览和计算机使用等能力后出现的新颖失效模式,设计并构建利用方法与缓解措施
岗位职责
- 研究 AI 智能体能力的科学,重点关注其与安全性、风险因素及基准测试方法之间的关系
- 设计并构建测试工具,评估 AI 智能体在用户施压或被环境因素诱导时采取有害行动的倾向
- 针对 AI 智能体获得编码、网页浏览和计算机使用等能力后出现的新颖失效模式,设计并构建利用方法与缓解措施
- 刻画涉及多个交互式 AI 智能体的系统潜在失效模式或更广泛风险,并设计缓解措施
任职要求
- 认同我们在前沿 AI 能力持续发展过程中推动安全、可靠且可信 AI 部署的使命
- 具备协作开展技术研究的实践经验,能够熟练构建和利用智能体脚手架、设计评估工具,并快速将研究文献中的新想法转化为可运行原型
- 拥有 RLHF、DPO、GRPO 等后训练与强化学习技术的经验
- 在机器学习领域,尤其是生成式 AI 方向,有已发表研究成果的记录
- 至少三年处理复杂机器学习问题的经验,无论是研究环境还是产品开发
- 具备出色的书面与口头沟通能力,能够在跨职能团队中工作
- 优先考虑具有 SWE-bench、WebArena、OSWorld、Inspect 等智能体评估框架实操经验者
- 优先考虑具有红队测试、提示注入或 AI 系统对抗性测试经验者
福利待遇
- 符合条件的职位提供包含基本工资、股权和福利的薪酬方案
- 薪酬范围会在面试过程中根据工作地点及相关因素确定
- 符合条件的员工还可获得股权激励