返回岗位列表

月之暗面

深度学习系统工程师(训练-推理协同优化)

地点:北京 薪资:薪资未公开 日期:2026-07-20

岗位摘要

推动量化感知训练和量化训练的工程化落地,研发W8A8、W4A16等低比特训练方案,实现训练与推理精度-效率的最优平衡;设计并实现投机解码及其变体(如EAGLE、DFlash等)的全链路方案,包括草稿模型训练、接受率优化与系统调度策略

岗位职责

  • 推动量化感知训练和量化训练的工程化落地,研发W8A8、W4A16等低比特训练方案,实现训练与推理精度-效率的最优平衡
  • 设计并实现投机解码及其变体(如EAGLE、DFlash等)的全链路方案,包括草稿模型训练、接受率优化与系统调度策略
  • 建立从训练到推理的端到端优化链路,确保相关训练方案在推理侧获得可度量的性能收益

任职要求

  • 计算机科学、电子工程或相关专业本科及以上学历,3年以上高性能计算或深度学习系统相关经验
  • 扎实的分布式系统功底:深入理解多机并行训练与推理相关技术,具备大规模训练框架(如Megatron-LM)及主流推理框架(如vLLM、SGLang)的开发能力
  • 至少具备以下一项:掌握低比特推理与量化技术,熟悉GPTQ、AWQ、SmoothQuant等后量化方案,理解训练感知量化的实现细节与数值稳定性处理,熟悉MXFP4、NVFP4等新兴低比特量化格式
  • 或深入理解投机解码原理,掌握草稿模型与目标模型的协同机制,了解EAGLE3、DFlash等当前主流方法的训练与推理实现方法
  • 优先考虑:具备LLM算法基础,熟悉大模型训练相关算法与技术
  • 优先考虑:熟悉CUDA编程模型,熟练使用Nsight Systems或Compute进行性能剖析,能够手写高性能CUDA内核
  • 优先考虑:在LLM算法、体系结构或系统领域相关顶级会议或期刊上有论文发表

福利待遇

  • 参与前沿大模型训练与推理优化项目
  • 与顶尖技术团队合作,推动技术创新
  • 提供具有竞争力的薪酬和职业发展机会