AI端侧推理优化工程师
岗位摘要
负责端侧大模型推理框架（如vLLM、llama.cpp、MNN等）的性能优化与加速，提升吞吐量并降低延迟；负责端侧语音、Embedding、OCR、AIGC、自动驾驶等模型在推理框架（如ONNXRuntime、MNN等）中的性能调优与部署适配
岗位职责
- 负责端侧大模型推理框架（如vLLM、llama.cpp、MNN等）的性能优化与加速，提升吞吐量并降低延迟
- 负责端侧语音、Embedding、OCR、AIGC、自动驾驶等模型在推理框架（如ONNXRuntime、MNN等）中的性能调优与部署适配
- 与算子团队、编译器团队紧密协作，共同完成端侧高性能推理框架的集成、验证与交付
- 深入分析推理链路性能瓶颈，设计并实现系统级优化方案，推动框架在真实场景中的高效稳定运行
任职要求
- 精通至少一种主流推理框架（如vLLM、llama.cpp、ONNXRuntime）的架构、工作机制与源码
- 熟练掌握大模型推理关键加速技术（如Flash Attention、Paged Attention、Speculative Decoding、Continuous Batching等），并具备实际应用经验
- 熟练使用Triton或Cutlass等工具开发与优化高性能GPU Kernel，精通CUDA编程、内存管理与性能优化方法论，并有重要项目落地经验
- 熟练掌握性能剖析工具（如PyTorch Profiler、Nsight Systems、Nsight Compute等），具备使用CUDA Graph、Torch AOT等高级优化技术进行深度调优的经验
- 责任心强，具备优秀的沟通与协作能力，能够协同算法、编译、硬件等多团队完成端到端技术交付与落地
- 本科及以上学历，应届生或在校生均可
加分项
- 有一线互联网公司或头部AI企业推理引擎优化与大规模业务落地经验
- 在推理框架技术基础上，深入掌握算子优化、编译器优化（如MLIR、TVM）或GPU硬件架构知识
- 具备端侧模型量化（如W4A16、W4A8等）调优及部署实践经验
福利待遇
- 薪资范围25K–50K，共16薪
- 工作地点位于北京朝阳区望京国际研发园，地理位置优越
- 有机会参与一线AI企业前沿推理引擎优化项目，技术成长空间广阔
工作地址
北京朝阳区望京国际研发园l座3层