AI 安全研究员
岗位摘要
研究模型在陌生场景、复杂交互和对抗条件下的安全表现，识别现有安全方法的能力边界；开展越狱、提示注入与自动化红队研究，构建能够持续发现新型失效模式的评测方法；研究攻击与防御的泛化规律，评估安全机制在不同模型、任务和攻击策略下的有效性
岗位职责
- 研究模型在陌生场景、复杂交互和对抗条件下的安全表现，识别现有安全方法的能力边界
- 开展越狱、提示注入与自动化红队研究，构建能够持续发现新型失效模式的评测方法
- 研究攻击与防御的泛化规律，评估安全机制在不同模型、任务和攻击策略下的有效性
- 将风险场景转化为可重复、可量化的实验，兼顾风险识别、误拒率与正常任务表现
- 分析模型内部表征与安全相关行为之间的关系，研究模型如何形成和应用行为约束
- 运用表征分析、因果干预、特征与回路分析等方法，定位影响模型行为的关键因素
- 探索利用模型内部信号识别风险、诊断异常行为和支持定向干预的方法
- 将机制发现转化为可检验的预测，并验证其在新任务和新场景中的适用性
任职要求
- 具有计算机、人工智能、信息安全、数学或相关领域的扎实基础
- 在大模型可解释性、大模型安全、对抗机器学习或安全对齐等至少一个方向具备深入研究经历
- 熟悉大模型基本原理与训练、推理流程，能够独立实现和验证研究想法
- 具备良好的实验判断力，能够设计对照与消融实验，识别混杂因素，分析结论的适用范围
- 熟练使用 Python、PyTorch 等工具，能够完成模型实验、评测流程及分析工具的开发
- 能够清楚表达研究假设、实验依据与方法局限，并与不同背景的研究和工程同事协作
- 对降低先进 AI 的潜在风险具有持续兴趣，愿意在开放性问题上开展深入研究
工作地址
北京海淀区大恒科技大厦南座