大模型优化工程师
岗位摘要
针对主流大语言模型如Qwen等，在寒武纪平台开展端到端的推理性能优化和精度分析，提升模型推理效率及精度；参与分布式推理框架设计开发，提供行业领先的LLM/多模态模型解决方案；开发和维护大语言模型（LLM）量化工具等
岗位职责
- 针对主流大语言模型如Qwen等，在寒武纪平台开展端到端的推理性能优化和精度分析，提升模型推理效率及精度
- 参与分布式推理框架设计开发，提供行业领先的LLM/多模态模型解决方案
- 开发和维护大语言模型（LLM）量化工具等
任职要求
- 计算机、电子工程、自动化、数学等相关专业优先
- 精通Python/C++
- 熟悉vLLM、SGLang等开源框架
- 深入理解量化、KV Cache、多机多卡并行等加速技术
加分项
- 有大模型推理/加速相关开源仓库的贡献经验者优先
- 参与过LLM或者视觉生成端到端推理优化项目，并实际落地
- 具备CUDA或者其他AI加速卡的算子开发经验
- 熟悉torch.
- compile/CUDAGraph/Triton
- 康鹏涛 3日内活跃
- 寒武纪 · 大模型推理工程师
福利待遇
- 薪资25-40K·15薪
工作地址
合肥蜀山区安徽寒武纪信息科技有限公司