端侧大模型推理框架优化工程师

查看原岗位

地点：北京薪资：薪资未公开日期：2026-01-29

岗位摘要

负责端侧大模型推理框架（如vLLM、llama.cpp、MNN等）的性能优化与加速，提升吞吐与降低延迟；负责端侧语音、Embedding、OCR、AIGC、自动驾驶等模型在推理框架（如ONNXRuntime、MNN等）中的性能调优与部署适配

精通核心框架：熟练掌握vLLM、llama.cpp、ONNXRuntime等至少一种主流推理框架的架构、工作机制与源码
掌握大模型优化技术：熟练掌握大模型推理的关键加速方法与技术（如Flash Attention、Paged Attention、Speculative Decoding、Continuous Batching等），并具备实际应用经验
具备系统级优化能力：熟练使用Triton或Cutlass等工具开发与优化高性能GPU Kernel，精通CUDA编程、内存管理与性能优化方法论，并有重要项目落地经验
精通性能剖析工具：熟练掌握性能剖析工具（如PyTorch Profiler、Nsight Systems、Nsight Compute等），并具备使用CUDA Graph、Torch AOT等高级优化技术进行深度调优的经验
具备协同交付能力：责任心强，具备优秀的沟通与协作能力，能够协同算法、编译、硬件等多团队完成端到端技术交付与落地