AI 院--MOE 训练/推理Infra工程师
岗位摘要
我们正在寻找一位经验丰富的 MOE 训练/推理 Infra 开发工程师，负责设计、实现并优化我们的 MOE（Mixture of Experts）训练和推理框架。该职位需要您具备扎实的分布式系统、高性能计算、深度学习框架以及硬件加速优化的相关知识，能够解决 MOE 训练和推理过程中的各种技术难题…
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口，并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 我们正在寻找一位经验丰富的 MOE 训练/推理 Infra 开发工程师，负责设计、实现并优化我们的 MOE（Mixture of Experts）训练和推理框架。该职位需要您具备扎实的分布式系统、高性能计算、深度学习框架以及硬件加速优化的相关知识，能够解决 MOE 训练和推理过程中的各种技术难题，并与算法团队紧密合作，确保算法的顺利实现
- 设计并实现高效的 MOE 训练/推理框架
- 设计并开发支持大规模分布式训练和推理的 MOE 框架，确保其在各种硬件配置下的高效运行
- 优化训练和推理性能，通过算法优化、并行计算、缓存策略等方式，缩短训练和推理时间，提高效率
- 解决 MOE 训练/推理过程中的技术难题
- 针对专家网络的选择问题，研究和实现有效的专家选择算法，确保模型在训练和推理过程中的稳定性和准确性
- 解决负载均衡问题，通过动态调整专家网络的负载分配，提高系统资源的利用率，避免过载或空闲状态
- 优化通信过程，减少分布式训练和推理中的通信开销，提高数据传输效率，缩短训练和推理时间
- 与算法团队保持密切沟通，了解算法需求，根据需求调整和优化训练和推理基础设施，确保算法的顺利实现
- 跟踪业界最新技术动态，引入适合项目需求的新技术、新方法，提升团队整体技术水平
任职要求
- 掌握分布式训练框架（如 Horovod、PyTorch Distributed）的使用和优化
- 具备设计和实现高效分布式训练系统的能力
- 熟悉 GPU、TPU 等硬件架构，能够进行硬件级性能调优
- 了解 CUDA、cuDNN 等相关技术，能够利用硬件加速提升训练和推理效率
- 了解量化、剪枝、压缩等模型优化方法，以提升推理效率
- 能够在实际项目中应用这些技术，优化模型大小和推理速度
- 能够设计高效的负载均衡策略和通信机制，以应对 MOE 模型的稀疏性挑战
- 优化分布式系统中的通信开销，提高数据传输效率
- 具备分布式系统设计经验，能够解决大规模模型训练和推理中的工程问题
- 能够设计和实现高可用、高扩展性的系统架构
登录后查看完整岗位详情
使用邮箱验证码登录后，可查看完整职责、任职要求、原岗位入口，并继续使用收藏和浏览记录。列表摘要保持公开，完整详情用于保护数据质量和降低恶意抓取。