大模型训练工程专家-稳定性方向
岗位摘要
负责GPU算力、RDMA网络、通信库、高性能存储、集群调度及训练任务生命周期的全栈基础设施保障；建设训练专属可观测体系，实现训练指标、硬件健康、慢节点检测，确保问题可发现、可定位；建立故障自动发现、定位、自愈与快速恢复的闭环，降低MTTR，沉淀事故复盘与标准预案
岗位职责
- 负责GPU算力、RDMA网络、通信库、高性能存储、集群调度及训练任务生命周期的全栈基础设施保障
- 建设训练专属可观测体系，实现训练指标、硬件健康、慢节点检测，确保问题可发现、可定位
- 建立故障自动发现、定位、自愈与快速恢复的闭环，降低MTTR，沉淀事故复盘与标准预案
- 以ETTR、有效训练时长、中断次数等为北极星指标，量化并持续改善训练稳定性
- 定位并消除训练瓶颈（通信、IO、计算、调度），协同算法与框架团队提升MFU、扩展效率与吞吐
- 深入理解Megatron-LM/DeepSpeed等分布式训练框架，将框架层问题转化为基础设施改进
任职要求
- 5年以上相关经验，具备千卡级及以上大规模GPU集群训练稳定性或AI Infra一线实战经验
- 在RDMA/高性能网络、NCCL等通信库、并行/高性能存储、大规模作业调度、GPU集群运维与故障处理中至少2-3个方向有深度
- 懂分布式训练原理与框架（Megatron/DeepSpeed至少其一），理解hang、慢、OOM、掉队等问题的成因与定位手段
- 扎实的编程与工程化能力，Python/Go/C++至少一门过硬，能用代码和自动化构建平台与工具
- 具备成熟的稳定性方法论，包括SLO、可观测、根因分析、先止损再定位，有体系而非靠蛮力重启
- 强Owner意识与跨团队协同能力，能端到端扛事、兑现承诺，与算法、训练、网络、存储多方拉通
工作地址
北京海淀区蓟门壹号1