大模型Infra工程师（VLM训练）
岗位摘要
主导设计并持续优化4D并行（DP/PP/TP/CP）策略，深入理解并落地DeepEP、Dual Pipe、ZeRO等核心机制，在多机多卡环境下实现通信与计算的高度重叠，逼近集群线性加速比
岗位职责
- 主导设计并持续优化4D并行（DP/PP/TP/CP）策略，深入理解并落地DeepEP、Dual Pipe、ZeRO等核心机制，在多机多卡环境下实现通信与计算的高度重叠，逼近集群线性加速比
- 从拓扑亲和性与通信原语调度层面，对分布式训练中的集体通信模式进行深度调优，通过计算通信重叠、通信分组优化等手段，将集群通信效率逼近硬件带宽上限
- 围绕MFU和显存利用率两大核心指标，持续进行系统级调优，结合Context Parallelism等并行策略，在多卡环境下实现显存、带宽、算力三者之间的最优平衡
- 建立系统级性能看护体系，通过端到端Profiling精准定位慢节点、通信拥塞及负载不均等系统性瓶颈，从集群调度、存储I/O到计算图执行进行全链路分析，保障数月级长稳训练及故障快速恢复
任职要求
- 对分布式训练有极深的理解，不仅熟悉主流并行策略的工程实现，更能从数学与系统层面推导通信量、显存峰值与算力之间的制约关系，具备从第一性原理出发设计或改造并行方案的能力
- 精读过Megatron-LM或DeepSpeed核心源码，有从零构建或深度定制3D/4D并行框架的实际经验，对PyTorch分布式模块的底层执行逻辑有系统性认知
- 具备大规模集群下的端到端调优经验，能够从计算图、内存分配、网络通信、存储I/O等多维度进行联合优化，对MFU的拆解与提升有系统方法论
- 熟悉现代GPU架构特性（SM调度、Tensor Core、显存层级），对异构计算场景下的负载均衡有实战经验
- 加分项：有千卡/万卡级以上VLM预训练成功落地经验；有Megakernel开发或深度优化经验；有多框架（PyTorch/JAX）或多芯片（华为昇腾/AMD MI系列）适配经验
加分项
- 有千卡/万卡级以上 VLM 预训练成功落地经验
- 有 Megakernel 开发或深度优化经验
- 有多框架（PyTorch/JAX）或多芯片（华为昇腾/AMD MI 系列）适配经验