AI端侧推理优化工程师

查看原岗位

地点：北京薪资：40-60K 日期：2026-03-03

岗位摘要

负责vLLM、llama.cpp、MNN等端侧大模型推理框架的性能优化与加速，提升吞吐并降低延迟；负责语音、Embedding、OCR、AIGC、自动驾驶等模型在ONNXRuntime、MNN等框架中的性能调优与部署适配

精通vLLM、llama.cpp、ONNXRuntime等至少一种主流推理框架的架构、工作机制与源码
熟练掌握Flash Attention、Paged Attention、Speculative Decoding、Continuous Batching等大模型推理加速技术，并有实际应用经验
熟练使用Triton、Cutlass开发高性能GPU Kernel，精通CUDA编程、内存管理及性能优化，有重要项目落地经验
熟练使用PyTorch Profiler、Nsight Systems、Nsight Compute等性能剖析工具，掌握CUDA Graph、Torch AOT等高级优化技术
责任心强，具备优秀沟通协作能力，能协同算法、编译、硬件等多团队完成端到端技术交付
有一线互联网公司或头部AI企业推理引擎优化与大规模业务落地经验优先
深入掌握算子优化、编译器优化或GPU硬件架构知识者优先
具备端侧模型量化调优及部署实践经验者优先

北京朝阳区望京国际研发园I座