返回岗位列表

训练优化高级工程师

查看原岗位

地点：深圳薪资：30-60K 日期：2026-05-22

岗位摘要

负责大模型预训练加速算法的研究与优化，涵盖MoE、多模态、创新架构等核心方向；针对MoE架构进行专项优化，解决Expert并行、负载均衡、通信优化等关键技术问题；研究并优化多模态模型（Vision-Language、Audio-Language等）的训练效率

岗位职责

负责大模型预训练加速算法的研究与优化，涵盖MoE、多模态、创新架构等核心方向
针对MoE架构进行专项优化，解决Expert并行、负载均衡、通信优化等关键技术问题
研究并优化多模态模型（Vision-Language、Audio-Language等）的训练效率
探索新型模型架构（Linear Attention、Memory Layer等）的高效训练方案
设计并实现高效的并行策略（TP/PP/DP/EP/SP），提升大规模训练的吞吐量与资源利用率
与算法团队紧密协作，快速支持新模型架构的训练需求

任职要求

硕士及以上学历，计算机、人工智能等相关专业，3年以上相关工作经验
深入理解Transformer、MoE、多模态模型等主流架构原理
精通分布式训练原理，熟悉Megatron-LM、DeepSpeed、FSDP等主流训练框架
熟悉各类并行策略（Tensor Parallel、Pipeline Parallel、Expert Parallel、Sequence Parallel等）及其实现细节
熟练掌握PyTorch，具备CUDA/Triton kernel开发能力者优先
具备良好的论文阅读能力，能够快速跟进并复现前沿训练优化技术

加分项

有MoE模型训练优化经验，熟悉Megablocks、Tutel、FastMoE等MoE加速库
熟悉Flash Attention、Ring Attention等长序列训练优化技术
了解混合精度训练、Activation Checkpointing、ZeRO等显存优化技术
有CUDA/Triton算子开发经验，熟悉GPU性能调优工具（Nsight、NCU等）
有新型架构（Mamba、RWKV、RetNet等）训练优化经验
针对MoE架构进行专项优化，包括Expert并行、负载均衡、通信优化等核心问题
研究并优化多模态模型（Vision
Language、Audio
Language等）的训练效率
探索新型模型架构（如Linear Attention、Memory Layer等）的高效训练方案
设计并实现高效的并行策略（TP/PP/DP/EP/SP），提升大规模训练的吞吐量与资源利用率
与算法团队紧密协作，快速支持新模型架构的训练需求
有多模态大模型（如LLaVA、Qwen
VL、InternVL等）训练经验
薛明畅 3日内活跃

福利待遇

具有竞争力的薪酬待遇：30-60K·15薪
参与前沿大模型训练优化项目，接触最新技术方向
与优秀的算法团队紧密协作，快速响应新模型架构需求
推动技术创新与落地的宝贵机会

工作地址

深圳南山区民企科技园3栋3层