AI端侧推理优化工程师

查看原岗位

地点：北京薪资：30-60K 日期：2026-03-03

岗位摘要

负责vLLM、llama.cpp、MNN等端侧推理框架的性能优化与加速，提升吞吐并降低延迟；负责语音、Embedding、OCR、AIGC、自动驾驶等模型在ONNXRuntime、MNN等框架中的调优与端侧部署

精通vLLM、llama.cpp、ONNXRuntime等至少一种主流推理框架的架构、机制与源码
熟练掌握Flash Attention、Paged Attention、Speculative Decoding、Continuous Batching等大模型加速技术并有实战经验
熟练使用Triton、Cutlass开发高性能GPU Kernel，精通CUDA编程、内存管理与性能优化，有重要项目落地
熟练使用PyTorch Profiler、Nsight Systems/Compute等工具，掌握CUDA Graph、Torch AOT等高级调优技术
责任心强，具备优秀沟通协作能力，能协同算法、编译、硬件团队完成端到端交付
（加分）有一线互联网或头部AI企业推理引擎优化与大规模业务落地经验
（加分）深入掌握MLIR、TVM等编译器优化或GPU硬件架构知识
（加分）具备W4A16、W4A8等端侧量化调优及部署实践经验

北京朝阳区望京国际研发园I座2层