大模型训练推理研发工程师
岗位摘要
参与开发大模型训练推理框架，提升系统性能和系统稳定性；持续扩充核心框架的功能和计算能力，优化系统的架构和模型设计，保持一定的业务和技术前瞻性；从模型架构、并行策略、计算通信等角度优化模型性能
岗位职责
- 参与开发大模型训练推理框架，提升系统性能和系统稳定性
- 持续扩充核心框架的功能和计算能力，优化系统的架构和模型设计，保持一定的业务和技术前瞻性
- 从模型架构、并行策略、计算通信等角度优化模型性能
- 与产品和测试以及其他研发团队深入协作，解决关键问题，完成研发计划
- 负责大模型相关技术、方案及架构设计沟通、规划、撰写
- 调研分析海内外产品技术实现，探索创新方向
任职要求
- 本科及以上学历，计算机、软件工程等相关专业优先
- 有扎实的计算机科学知识，熟练掌握Pytorch、C++，具备良好的编程能力和代码风格
- 对AI大模型相关核心技术原理有认知，熟悉sglang、vllm、tensorrt、megatron等大模型框架
- 工作态度认真，做事主动、仔细，有强烈的责任心、自驱力、抗压能力
- 加分项：熟悉NV以及国产化AI芯片技术，有训练/推理性能优化经验
- 加分项：有高性能算子kernel开发经验，cuda、C++开发能力
- 加分项：有高性能网络（overlay&underlay，rdma/ib/roce）相关的经验
加分项
- 熟悉NV以及国产化AI芯片技术，有训练/推理性能优化经验
- 高性能算子kernal开发经验，cuda、C++开发能力
- 有高性能网络 (overlav&underlay,rdma/ib/roce) 相关的经验