预训练算法研究员（模型训练）
岗位摘要
负责超大规模语言模型预训练阶段的训练算法研究，围绕训练稳定性、优化算法、扩展定律、长上下文等方向持续探索模型能力边界；设计并优化训练方案，包括优化器、学习率调度、批量扩展、课程学习及训练超参数等关键策略，并通过大规模实验持续迭代改进
岗位职责
- 负责超大规模语言模型预训练阶段的训练算法研究，围绕训练稳定性、优化算法、扩展定律、长上下文等方向持续探索模型能力边界
- 设计并优化训练方案，包括优化器、学习率调度、批量扩展、课程学习及训练超参数等关键策略，并通过大规模实验持续迭代改进
- 深入分析训练过程中的损失、梯度、激活值、注意力等行为，定位模型训练瓶颈，并提出系统性优化方案
- 与模型架构、数据、评估及基础设施团队协同合作，推动算法在万亿Token规模训练中的持续演进，并完成能力分析与归因
任职要求
- 2026届或2027届计算机、人工智能、数学、电子、自动化等相关专业硕士及以上学历，或同等优秀本科生
- 扎实掌握机器学习、深度学习基础知识，熟悉Transformer架构、PyTorch及主流分布式训练框架
- 具备优秀的研究能力和工程能力，能够独立完成算法设计、实验验证、结果分析及论文复现
- 对基础模型、优化算法、扩展定律、分布式训练等方向具有深入理解或相关研究经历
- 在各类竞赛中取得突出成绩，或在开源社区有重要贡献者优先考虑