大模型训练框架工程师
岗位摘要
建设和优化大规模训练框架，支撑千卡/万卡级别的训练任务；优化数据并行、张量并行、流水线并行、专家并行等多种并行策略；解决大规模训练中的通信、显存、Checkpoint、容错恢复、数值正确性校验及系统稳定性问题
岗位职责
- 建设和优化大规模训练框架，支撑千卡/万卡级别的训练任务
- 优化数据并行、张量并行、流水线并行、专家并行等多种并行策略
- 解决大规模训练中的通信、显存、Checkpoint、容错恢复、数值正确性校验及系统稳定性问题
- 分析模型结构、训练策略与系统效率之间的关系，提升训练吞吐、资源利用率和迭代效率
- 跟进PyTorch、Megatron-LM、DeepSpeed、TorchTitan等主流训练框架及前沿研究，并结合实际场景落地应用
- 与算法团队在模型架构设计和训练方案制定阶段深度协作，从系统视角识别潜在瓶颈并推动优化
任职要求
- 编程能力扎实，具备清晰的系统设计思路和良好的工程品味
- 对大模型训练系统、分布式系统、并行计算、GPU性能优化或大规模数值正确性保障中的某一方向有深入理解
- 能够独立定位系统问题，提出可落地的优化方案并推动实施
- 关注算法与系统前沿，能够将论文或开源框架中的思路转化为工程判断
- （加分）熟悉PyTorch、Megatron-LM、DeepSpeed、Colossal-AI、TorchTitan等训练框架，并有深入使用或贡献经验
- （加分）具备千卡/万卡规模训练系统的实际经验
- （加分）熟悉NCCL、RDMA、CUDA、Triton、通信优化、显存优化、Checkpoint优化及大规模训练数值稳定性保障等技术
- （加分）有MoE训练、长序列训练、混合并行策略优化或训练稳定性治理经验
加分项
- 熟悉 PyTorch、Megatron-LM、DeepSpeed、Colossal-AI、TorchTitan 等训练框架，并有深入使用或贡献经验
- 熟悉 NCCL、RDMA、CUDA、Triton、通信优化、显存优化、Checkpoint 优化、大规模训练数值稳定性与正确性保障等技术
- 有 MoE 训练、长序列训练、混合并行策略优化或训练稳定性治理经验