AI端侧推理优化工程师

查看原岗位

地点：北京薪资：40-70K 日期：2026-03-03

岗位摘要

负责vLLM、llama.cpp、MNN等端侧大模型推理框架的性能优化与加速，提升吞吐并降低延迟；负责语音、Embedding、OCR、AIGC、自动驾驶等模型在ONNXRuntime、MNN等框架中的调优与部署适配

精通vLLM、llama.cpp、ONNXRuntime等至少一种主流推理框架架构、机制与源码
熟练掌握Flash Attention、Paged Attention、Speculative Decoding、Continuous Batching等大模型加速技术并具备实战经验
熟练使用Triton、Cutlass开发高性能GPU Kernel，精通CUDA编程、内存管理及性能优化，有重要项目落地
熟练使用PyTorch Profiler、Nsight Systems/Compute等性能剖析工具，掌握CUDA Graph、Torch AOT等高级优化技术
责任心强，具备优秀沟通协作能力，可协同算法、编译、硬件等多团队完成端到端交付
有一线互联网或头部AI企业推理引擎优化及大规模业务落地经验者优先
深入掌握MLIR、TVM等编译器优化或GPU硬件架构知识者优先
具备W4A16、W4A8等端侧量化调优及部署实践经验者优先

北京朝阳区望京国际研发园l座3层