返回岗位列表

AI端侧推理优化工程师

查看原岗位

地点：北京薪资：25-50K 日期：2026-03-03

岗位摘要

负责vLLM、llama.cpp、MNN等端侧推理框架的性能优化与加速，提升吞吐、降低延迟；负责语音、Embedding、OCR、AIGC、自动驾驶等模型在ONNXRuntime、MNN等框架中的调优与部署适配

岗位职责

负责vLLM、llama.cpp、MNN等端侧推理框架的性能优化与加速，提升吞吐、降低延迟
负责语音、Embedding、OCR、AIGC、自动驾驶等模型在ONNXRuntime、MNN等框架中的调优与部署适配
与算子、编译器团队紧密协作，完成高性能推理框架集成、验证与交付
深入分析推理链路瓶颈，设计系统级优化方案，保障框架在真实场景高效稳定运行

任职要求

精通vLLM、llama.cpp、ONNXRuntime等至少一种主流推理框架架构、机制与源码
熟练掌握Flash Attention、Paged Attention、Speculative Decoding、Continuous Batching等大模型加速技术并有实战经验
熟练使用Triton、Cutlass开发高性能GPU Kernel，精通CUDA编程、内存管理及性能优化
熟练使用PyTorch Profiler、Nsight Systems、Nsight Compute等工具，掌握CUDA Graph、Torch AOT等高级调优技术
硕士及以上学历，计算机/电子/自动化等相关专业，应届或在校均可

加分项

在推理框架技术基础上，深入掌握算子优化、编译器优化（如MLIR、TVM）或GPU硬件架构知识
具备端侧模型量化（如W4A16、W4A8等）调优及部署实践经验
蔡猛刚刚活跃
摩尔线程 · 技术总监

福利待遇

加入摩尔线程顶尖技术团队，参与国产GPU生态建设
直面海量真实业务场景，快速积累高并发低延迟系统经验
望京核心办公区，地铁直达，弹性工作制
具有竞争力的25-50K月薪及丰厚年终奖
五险一金、补充医疗、年度体检、节日礼品、团队建设活动

工作地址

北京朝阳区望京国际研发园I座2层