大模型算法工程协同设计
岗位摘要
深入理解大模型算法，包括架构、训练与推理技术，评估其工程可行性、性能瓶颈与成本；主导设计下一代训练或推理框架及核心组件，确保原生支持高效算法实现，例如高效注意力机制与通信优化；系统性解决训练与推理工作负载在计算、通信、存储方面的性能瓶颈
岗位职责
- 深入理解大模型算法，包括架构、训练与推理技术，评估其工程可行性、性能瓶颈与成本
- 主导设计下一代训练或推理框架及核心组件，确保原生支持高效算法实现，例如高效注意力机制与通信优化
- 系统性解决训练与推理工作负载在计算、通信、存储方面的性能瓶颈
- 设计并实现高性能核心组件，例如定制内核，优化通信与数据流水线
- 设计构建基于DeepSpeed、Megatron-LM或FSDP的大规模分布式训练系统
- 设计构建高并发、低延迟的大模型推理服务平台
- 跟踪领域前沿，探索验证新硬件、非Transformer架构等新技术
- 高效沟通并跨团队协作，与算法、工程、平台团队推动方案落地
任职要求
- 计算机、人工智能等相关领域本科及以上学历，或具备同等杰出实践经验
- 深刻理解Transformer架构及大模型训练、推理等核心技术
- 精通PyTorch及其分布式训练，包括DDP与FSDP，并有大规模分布式系统设计、开发、调优经验
- 具备扎实的计算机体系结构、操作系统与网络基础
- 拥有丰富的性能调优经验，熟悉Nsight Systems、Profiler等工具
- 加分项：参与DeepSpeed、Megatron-LM、vLLM或SGLang等核心框架开发
- 加分项：具备GPU内核优化经验，熟悉CUDA或Triton
- 加分项：有千亿参数级模型训练或部署经验
- 加分项：熟悉云平台大规模AI负载管理
加分项
- 参与 DeepSpeed/Megatron
- LM/vLLM/SGLang 等核心框架开发
- GPU Kernel优化 (CUDA/Triton) 经验
- 熟悉云平台大规模AI负载管理
- 崔女士 刚刚活跃
工作地址
北京海淀区蓟门壹号8f