研究工程师/研究科学家，强化学习前沿
岗位摘要
研究强化学习训练和采样如何随模型规模、上下文长度和计算量扩展，并找到保持扩展效率的算法和系统改进；开发下一代模型架构和强化学习算法，并使其在前沿规模下高效运行；将小规模的有希望结果推进到前沿规模运行，并诊断其行为差异的根本原因
岗位职责
- 研究强化学习训练和采样如何随模型规模、上下文长度和计算量扩展，并找到保持扩展效率的算法和系统改进
- 开发下一代模型架构和强化学习算法，并使其在前沿规模下高效运行
- 将小规模的有希望结果推进到前沿规模运行，并诊断其行为差异的根本原因
- 构建实验基础设施，实现快速、可复现的架构和算法变体比较
- 负责最大规模强化学习运行的端到端性能，从研究代码到硬件层面
- 为提议的架构和算法变更构建性能和成本模型，并据此决定哪些想法值得扩展
- 研究大规模训练动态，包括不稳定性、发散和吞吐量回退，并追溯根本原因
任职要求
- 深入了解现代Transformer语言模型，包括其架构、训练动态和大规模优化行为
- 具有在分布式环境中训练大型模型的实践经验，包括数据、张量和流水线并行之间的权衡
- 在机器学习训练或系统方面有原创性技术工作的记录，如新方法、架构或优化，通过研究、开源或生产影响证明
- 能够设计大规模严格实验，包括基线、消融和足够的统计关注以信任消耗真实计算资源的结果
- 能够对模型或算法的计算、内存和通信成本进行定量推理
- 精通Python和JAX或PyTorch编程，并能舒适地阅读和修改堆栈各层的代码
- 优先：在强化学习、优化或大规模训练方面的研究经验，无论是否发表
- 优先：为语言模型开发强化学习算法的经验
- 优先：具有扩展定律或其他训练效率定量模型的经验
- 优先：设计或修改超出标准配置的Transformer架构的经验
- 优先：将训练扩展到大型加速器集群并调试仅在大规模下出现的问题的经验
- 优先：深入了解大规模训练中的数值问题