AI基础设施推理框架开发工程师
岗位摘要
针对主流大语言模型（如Qwen等），在寒武纪平台上开展端到端的推理性能优化和精度分析，提升模型推理效率及精度；参与分布式推理框架的设计与开发，提供行业领先的LLM及多模态模型解决方案
岗位职责
- 针对主流大语言模型（如Qwen等），在寒武纪平台上开展端到端的推理性能优化和精度分析，提升模型推理效率及精度
- 参与分布式推理框架的设计与开发，提供行业领先的LLM及多模态模型解决方案
- 开发和维护大语言模型（LLM）量化工具及相关基础设施
任职要求
- 计算机、电子工程、自动化、数学等相关专业背景优先，硕士学历
- 精通Python及C++编程语言
- 熟悉vLLM、SGLang等主流开源推理框架
- 深入理解量化、KV Cache、多机多卡并行等模型加速技术
- 具备1至3年相关工作经验
- 加分项：有大模型推理或加速相关开源仓库贡献经验
- 加分项：参与过LLM或视觉生成端到端推理优化项目并实际落地
- 加分项：具备CUDA或其他AI加速卡的算子开发经验
- 加分项：熟悉torch.compile、CUDAGraph或Triton等技术
加分项
- 有大模型推理/加速相关开源仓库的贡献经验者优先
- 参与过LLM或者视觉生成端到端推理优化项目，并实际落地
- 具备CUDA或者其他AI加速卡的算子开发经验
- 熟悉torch.
- compile/CUDAGraph/Triton
福利待遇
- 薪资范围30K至50K，共15薪
- 工作地点位于上海浦东新区展想广场
工作地址
上海浦东新区展想广场1号楼1805