大模型效率研究员-模型结构方向
岗位摘要
参与模型结构设计，从硬件能力、分布式训练和推理系统视角参与Attention、MoE、条件计算、参数共享、量化及缓存机制等设计，提出可验证的架构方案；建立端到端评估方法，建立计算、访存、通信及存储的性能与成本模型，分析模型结构对训练吞吐、显存占用、收敛表现以及推理TTFT、TPOT、吞吐和服务成本…
岗位职责
- 参与模型结构设计，从硬件能力、分布式训练和推理系统视角参与Attention、MoE、条件计算、参数共享、量化及缓存机制等设计，提出可验证的架构方案
- 建立端到端评估方法，建立计算、访存、通信及存储的性能与成本模型，分析模型结构对训练吞吐、显存占用、收敛表现以及推理TTFT、TPOT、吞吐和服务成本的影响
- 关注效率与模型效果的权衡，端到端参与模型效果评估，衡量基于效率的变更对效果的影响，找到最佳权衡点
- 推动模型与硬件协同设计，结合加速器的计算精度、内存层级、带宽、互联拓扑和执行特性，识别架构瓶颈，为模型规模、层数、宽度、稀疏度及算子形态提供设计依据
- 协同设计训练与推理方案，评估模型结构与并行策略、通信调度、算子融合、KV cache管理、Prefill/Decode分离及投机解码的适配关系，形成可落地的系统方案
- 完成原型与实验验证，通过性能建模、微基准、关键算子或系统原型及模型实验，验证架构假设，区分理论收益与实际端到端收益
- 推动方案进入生产，与算法、Kernel、训练及推理工程团队协作，推动架构方案从设计、实验到规模化部署，并持续评估不同上下文长度、并发规模和业务负载下的表现
任职要求
- 具备跨团队协作能力，能够与算法及系统工程团队共同定义问题、设计实验并推动交付
- 深入理解大语言模型的核心结构与计算过程，熟悉Transformer、Attention、MoE等机制，能够分析其计算复杂度、数据流和内存开销
- 在大规模模型训练或推理系统方面具有扎实经验，并能够理解另一侧的关键约束及架构权衡
- 熟悉GPU或其他AI加速器的体系结构，理解计算、访存、通信之间的关系，具备性能分析、瓶颈定位与优化能力
- 熟悉分布式计算及常见并行策略，能够分析模型结构与设备拓扑、通信模式、调度方式之间的相互影响
- 具备较强的工程与实验能力，熟练使用Python、PyTorch，能够通过代码、Profiling和实验数据验证设计判断
- 能够在模型质量、训练成本、推理延迟、吞吐、可靠性和实现复杂度之间进行定量权衡，并清晰表达设计依据
加分项
- 参与过模型结构与训练、推理系统的联合设计，并有规模化落地经验
- 在长上下文、稀疏 Attention、MoE、低精度训练与推理、KV cache 优化或投机解码等方向有深入实践
- 具备 CUDA、Triton 或其他加速器编程经验，能够实现并优化关键算子
- 有大规模集群性能建模、容量规划，或跨硬件平台适配经验
- 在模型架构、机器学习系统或计算机体系结构方向有高质量研究成果或开源贡献