高性能通信库研发工程师- AI infra
岗位摘要
设计并优化AI训练场景下的集合通信库（NCCL、UCX、MPI）及专项通信库（DeepEP、DeepSpeed Comms），提升AllReduce、ReduceScatter、All-to-All等原语在千卡集群上的通信效率
岗位职责
- 设计并优化AI训练场景下的集合通信库（NCCL、UCX、MPI）及专项通信库（DeepEP、DeepSpeed Comms），提升AllReduce、ReduceScatter、All-to-All等原语在千卡集群上的通信效率
- 深度参与MoE专家并行场景的通信优化，针对dispatch/combine通信模式进行算法分析与路径调优
- 主导通信链路的故障排查与根因分析，建立系统化的排错方法论，解决训练中的挂起、抖动、超时等问题
- 构建通信系统的可观测性体系，覆盖性能profiling、链路质量监控、异常检测与告警
- 参与RDMA/RoCEv2通信路径调优，优化拥塞控制与重传机制，配合网络团队提升端到端稳定性
- 与训练框架团队协作，推动通信库与PyTorch等框架的深度融合与接口优化
任职要求
- 本科及以上学历，计算机/电子工程/通信相关专业，3年及以上系统或网络研发经验
- 扎实的网络协议基础，熟悉TCP/IP、RDMA/RoCE通信原理，理解InfiniBand或以太网RDMA的链路行为
- 有NCCL、UCX、OpenMPI等集合通信库的使用、调优或二次开发经验，理解其通信拓扑与调度机制
- 熟练掌握C/C++，具备系统级性能优化能力，熟悉perf、nsys、nvprof、wireshark、ibdiagnet等工具
- 对分布式训练系统有整体理解，了解tensor并行、流水线并行、数据并行、专家并行下的通信瓶颈特征
- 加分项：有NCCL plugin开发、NCCL tuner调优，或DeepEP/DeepSpeed Comms集成优化的实战经验
- 加分项：有千卡以上GPU集群中定位通信瓶颈、解决挂起或抖动问题的实际案例
- 加分项：熟悉eBPF/XDP、RDMA Counters、SR-IOV等技术，有通信链路可观测性建设经验
- 加分项：有自建通信benchmark体系或压测平台的经验（如nccl-tests扩展、All-to-All专项压测等）
- 加分项：有参与UCX、Libfabric、OpenMPI、DeepEP等开源通信项目的经验
加分项
- 有 NCCL plugin 开发、NCCL tuner 调优，或 DeepEP/DeepSpeed Comms集成优化的实战经验
- 有千卡以上 GPU 集群中定位通信瓶颈、解决挂起或抖动问题的实际案例
- 熟悉 eBPF/XDP、RDMA Counters、SR
- IOV 等技术，有通信链路可观测性建设经验
- 有自建通信 benchmark 体系或压测平台的经验（如 nccl
- tests 扩展、All
- All专项压测等）
- 有参与 UCX、Libfabric、OpenMPI、DeepEP 等开源通信项目的经验
- 李先生 今日活跃
福利待遇
- 直接影响MiniMax大规模GPU集群的训练效率，每一次优化都会体现在模型迭代速度上
- 真实的AI原生大规模场景：参与MoE专家并行、万卡训练等前沿架构下的通信挑战，在业界最前沿的工程实践中持续成长
- 与训练框架、网络、硬件团队紧密协作，获得从RDMA链路到分布式训练全栈的技术视野
工作地址
上海徐汇区新研大厦B座