AI Infra（大模型推理框架）开发工程师
岗位摘要
参与分布式推理系统建设，提供行业领先的LLM/多模态模型解决方案；针对大语言模型（LLM）等场景，开展端到端推理性能优化，重点降低推理延迟、提升吞吐量；针对大语言模型（LLM）等场景，开展端到端推理精度分析，提升模型精度
岗位职责
- 参与分布式推理系统建设，提供行业领先的LLM/多模态模型解决方案
- 针对大语言模型（LLM）等场景，开展端到端推理性能优化，重点降低推理延迟、提升吞吐量
- 针对大语言模型（LLM）等场景，开展端到端推理精度分析，提升模型精度
- 开发和维护大语言模型（LLM）量化工具
任职要求
- 计算机、电子工程、自动化、数学等相关专业优先
- 精通Python/C++
- 深入理解LLM或者视觉生成模型框架和原理
- 深入理解量化、kvcache、多机多卡并行等加速技术
- 实习时间至少为6个月，每周出勤4天
加分项
- 参与过LLM或者视觉生成端到端推理优化项目，并实际落地
- 了解torch.
- compile/CUDAGraph/Triton
- 了解vllm, sglang, megatron, verl等
- 张先生 今日活跃
- 寒武纪 · 软件经理
福利待遇
- 薪资270-340元/天
工作地址
北京海淀区北京航空航天大学学院路校区致真大厦D座