大模型优化开发工程师
岗位摘要
针对Qwen等主流大语言模型,在寒武纪平台开展端到端的推理性能优化和精度分析,提升模型推理效率及精度;参与分布式推理框架设计开发,提供行业领先的LLM/多模态模型解决方案;开发和维护大语言模型(LLM)量化工具
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 针对Qwen等主流大语言模型,在寒武纪平台开展端到端的推理性能优化和精度分析,提升模型推理效率及精度
- 参与分布式推理框架设计开发,提供行业领先的LLM/多模态模型解决方案
- 开发和维护大语言模型(LLM)量化工具
任职要求
- 计算机、电子工程、自动化、数学等相关专业硕士优先
- 精通Python/C++编程语言
- 熟悉vLLM、SGLang等开源推理框架
- 深入理解量化、KV Cache、多机多卡并行等加速技术
- 有大模型推理/加速相关开源仓库贡献经验者优先
- 参与过LLM或视觉生成端到端推理优化项目并实际落地者优先
- 具备CUDA或其他AI加速卡算子开发经验者优先
- 熟悉torch.compile/CUDAGraph/Triton者优先
加分项
- 有大模型推理/加速相关开源仓库的贡献经验者优先
- 参与过LLM或者视觉生成端到端推理优化项目,并实际落地
- 具备CUDA或者其他AI加速卡的算子开发经验
- 熟悉torch.
- compile/CUDAGraph/Triton
- 朱文博 刚刚活跃
工作地址
北京海淀区北京航空航天大学学院路校区致真大厦致真大厦D座
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。