返回岗位列表

Scale AI

LLM评估研究团队技术负责人

地点:美国 薪资:薪资未公开 日期:2026-01-29

岗位摘要

领导一支高效的研究科学家和工程师团队进行LLM评估工作;研究现有LLM评估技术的有效性和局限性;为大语言模型设计和开发新颖的评估基准,涵盖指令遵循、事实性、鲁棒性和公平性等领域;与客户和同级团队沟通、协作并建立关系,以促进跨职能项目

岗位职责

  • 领导一支高效的研究科学家和工程师团队进行LLM评估工作
  • 研究现有LLM评估技术的有效性和局限性
  • 为大语言模型设计和开发新颖的评估基准,涵盖指令遵循、事实性、鲁棒性和公平性等领域
  • 与客户和同级团队沟通、协作并建立关系,以促进跨职能项目
  • 与内部团队和外部合作伙伴协作,完善指标并创建标准化的评估协议
  • 使用现代ML框架实施可扩展且可复现的评估流程
  • 在顶级AI会议上发表研究成果,并为开源基准测试计划做出贡献
  • 及时了解团队正在进行的研究,帮助解决技术挑战,并参与设计决策
  • 深入参与研究社区,既了解趋势,也引领趋势
  • 在充满活力、快节奏的初创环境中茁壮成长,并愿意投入时间和精力以推动产生影响力的结果

任职要求

  • 在大语言模型、NLP和Transformer建模方面拥有5年以上的实践经验,兼具研究和工程开发背景
  • 在快节奏环境中取得重大研究影响的经验和记录
  • 有支持和领导研究科学家及工程师团队的经验
  • 在主要会议(如NeurIPS、ICML、ICLR、ACL、EMNLP、CVPR等)和/或期刊上发表过机器学习领域的研究成果

福利待遇

  • 全面的健康、牙科和视力保险
  • 学习和发展津贴
  • 丰厚的带薪休假