大模型评测算法工程师
岗位摘要
对大模型进行全面、细致、准确、高效的评测,深度分析模型能力,明确模型现有优势与缺陷;探索可靠的LLM-as-Judge方法,在模型能力边界范围内最大化自动化评估占比;与预训练、Post-Training方向密切合作,构建准确、通用的Critic模型用于DPO、RL训练等
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 对大模型进行全面、细致、准确、高效的评测,深度分析模型能力,明确模型现有优势与缺陷
- 探索可靠的LLM-as-Judge方法,在模型能力边界范围内最大化自动化评估占比
- 与预训练、Post-Training方向密切合作,构建准确、通用的Critic模型用于DPO、RL训练等
- 完善与扩展评测的维度,挖掘已知模型能力之外的评测指标,探索未来模型方向
- 参与搭建自动化、可扩展、可靠的评测系统,缩短评价周期,助力内部模型迭代
- 构建评测的数据飞轮,实现线上数据获取-数据筛选分类-标注-模型迭代-评估的正向循环
- 对大模型的安全性进行全方位评估和提升,研究大模型超级对齐的前瞻性技术
- 参与撰写技术文档和学术论文,包括基准设计、评测标准和研究进展等
任职要求
- 硕士及以上学历
- 具备大模型算法或多模态算法相关背景
福利待遇
- 具有竞争力的薪酬待遇:30-60K·16薪
- 完善的职业发展平台
工作地址
北京海淀区搜狐网络大厦7
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。