大模型优化工程师
岗位摘要
针对主流大语言模型(如Qwen等)在寒武纪平台开展端到端推理性能优化和精度分析,提升模型推理效率及精度;参与分布式推理框架设计开发,提供行业领先的LLM/多模态模型解决方案;开发和维护大语言模型(LLM)量化工具
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 针对主流大语言模型(如Qwen等)在寒武纪平台开展端到端推理性能优化和精度分析,提升模型推理效率及精度
- 参与分布式推理框架设计开发,提供行业领先的LLM/多模态模型解决方案
- 开发和维护大语言模型(LLM)量化工具
- 持续跟进业界最新大模型推理优化技术并落地应用
任职要求
- 计算机、电子工程、自动化、数学等相关专业优先,硕士及以上学历
- 精通Python/C++编程语言
- 熟悉vLLM、SGLang等开源推理框架
- 深入理解量化、KV Cache、多机多卡并行等加速技术
- 具备算法工程化实践经验,熟悉模型加速/性能优化相关技术
加分项
- 有大模型推理/加速相关开源仓库的贡献经验者优先
- 参与过LLM或者视觉生成端到端推理优化项目,并实际落地
- 具备CUDA或者其他AI加速卡的算子开发经验
- 熟悉torch.
- compile/CUDAGraph/Triton
- 寒武纪 · 软件经理
福利待遇
- 薪资范围30-50K·15薪,具竞争力的薪酬待遇
- 硕士及以上学历要求,开放经验不限
- 参与行业领先的大模型推理优化项目
- 平台提供寒武纪AI加速卡相关技术学习与成长机会
工作地址
北京海淀区致真大厦11层
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。