推理优化工程师，高性能C++

查看原岗位

地点：北京薪资：薪资未公开日期：2026-06-29

岗位摘要

设计与实现MTP、EAGLE等投机解码方案，优化草稿生成、并行验证、KV Cache管理与执行调度，推动方案在真实业务中稳定落地；设计多级KV Cache系统，优化前缀复用、缓存索引、淘汰、预取和跨节点共享，结合RDMA、异步I/O与计算传输重叠，解决长上下文等场景的容量与尾延迟问题

设计与实现MTP、EAGLE等投机解码方案，优化草稿生成、并行验证、KV Cache管理与执行调度，推动方案在真实业务中稳定落地
设计多级KV Cache系统，优化前缀复用、缓存索引、淘汰、预取和跨节点共享，结合RDMA、异步I/O与计算传输重叠，解决长上下文等场景的容量与尾延迟问题
设计与优化Prefill/Decode分离、TP/PP/EP/DP并行及多副本服务架构，建设缓存感知路由、Continuous Batching、负载均衡和过载控制机制
开发与优化Attention、MoE、GEMM等核心算子，开展CUDA/Triton/AscendC或国产芯片算子开发，通过性能剖析定位并消除关键路径瓶颈
推进FP8、INT8、INT4等低精度方案，协同优化量化策略、数据布局与计算内核，建立精度和性能验证，控制精度损失与转换开销
建设高性能C++运行时，优化CPU调度、内存管理、异步执行、CUDA Graph与动态形状处理，减少算子启动、同步和Host侧开销
深入优化vLLM、SGLang、TensorRT-LLM、MindIE等框架，面向NVIDIA先进GPU与国产GPU/NPU开展架构级性能优化，建设可复现的Benchmark与性能回归体系

计算机科学、电子工程、人工智能等相关专业，硕士及以上学历；具有2年以上AI Infra、推理优化或高性能计算相关工作经验
熟练使用C++进行系统级开发，掌握Python；具备扎实的计算机体系结构、操作系统、并发编程和内存管理基础，能够定位性能与稳定性问题
熟悉Transformer的主要计算过程，理解Prefill/Decode的计算与访存特征，以及Attention、KV Cache、MoE、量化等机制对推理性能的影响
深入使用并阅读或修改过vLLM、SGLang、TensorRT-LLM、MindIE等至少一种推理框架，能够说明关键模块的实现、性能瓶颈与设计取舍
在投机解码、分布式KV Cache/存储、分布式推理与调度、GPU算子与通信、低精度推理、推理运行时等至少一个方向有深入研发经验，能够独立完成问题分析、方案设计、实现与验证
有GPU性能分析或调优经验，能够结合Profiler、日志与对照实验区分计算、访存、通信、CPU调度及排队瓶颈，并以可复现的数据说明优化收益和适用边界
具备工程交付与跨团队协作能力，重视正确性、可观测性和性能回归，能够推动优化方案从实验走向稳定运行

有 MTP、EAGLE 等投机解码的框架实现或生产优化经验，解决过动态批处理、验证开销、KV 管理或执行图配合中的实际问题
有多级 KV Cache、分布式缓存或高性能存储研发经验，熟悉 RDMA、libibverbs、GPUDirect RDMA、异步 I/O 等技术，并对缓存一致性、故障恢复或尾延迟有实践经验
有大规模 LLM Serving 生产调优经验，处理过 PD 分离、缓存感知路由、混合长短请求、热点副本或过载问题，能提供明确的业务负载和收益数据
有 CUDA / Triton / AscendC 算子开发经验，熟悉 Tensor Core、tiling、warp-level primitive、异步 copy；或熟悉 NCCL / HCCL、集合通信与 MoE All-to-All 优化
有 FP8 / INT8 / INT4 量化、低精度 Kernel、CUDA Graph、编译优化或高性能 C++ 推理运行时开发经验
有 NVIDIA 先进 GPU 性能优化经验，熟悉 Tensor Core、NVLink / NVSwitch 等计算与互联特性的应用；或有国产 GPU / NPU 适配和优化经验，能够从硬件特性出发调整算子、并行策略与执行流程
向 vLLM、SGLang、PyTorch、FlashAttention、Mooncake、CUTLASS、Triton 等项目提交过有实质内容的贡献，或有体现技术深度的论文、技术文章与性能工具