AI安全研究员
岗位摘要
围绕先进模型安全性开展实证研究，从真实模型行为和对抗场景中发现问题，提出并验证机制假设；开展越狱、提示注入与自动化红队研究，构建能够持续发现新型失效模式的评测方法，将风险场景转化为可重复、可量化的实验
岗位职责
- 围绕先进模型安全性开展实证研究，从真实模型行为和对抗场景中发现问题，提出并验证机制假设
- 开展越狱、提示注入与自动化红队研究，构建能够持续发现新型失效模式的评测方法，将风险场景转化为可重复、可量化的实验
- 分析模型内部表征与安全相关行为之间的关系，运用表征分析、因果干预、特征与回路分析等方法定位影响模型行为的关键因素
- 探索利用模型内部信号识别风险、诊断异常行为和支持定向干预的方法，并将机制发现转化为可检验的预测加以验证
- 参与研究问题定义、方法设计、实验实现、结果分析和实际验证，逐步形成独立负责的研究方向
任职要求
- 具有计算机、人工智能、信息安全、数学或相关领域的扎实基础
- 在大模型可解释性、大模型安全、对抗机器学习或安全对齐等至少一个方向具备深入研究经历
- 熟悉大模型基本原理与训练、推理流程，能够独立实现和验证研究想法
- 具备良好的实验判断力，能够设计对照与消融实验，识别混杂因素，分析结论的适用范围
- 熟练使用Python、PyTorch等工具，能够完成模型实验、评测流程及分析工具的开发