大模型Infra工程师（VLM推理）
岗位摘要
主导VLM在线推理服务的架构设计与持续演进，深度定制SGLang推理框架，针对VLM特点进行系统级适配与优化，提升服务吞吐上限，降低单Token推理成本；针对VLM多图/长视频场景下KV Cache巨大的问题，设计高效的显存管理方案，优化SGLang的RadixAttention机制，结合Page…
岗位职责
- 主导VLM在线推理服务的架构设计与持续演进，深度定制SGLang推理框架，针对VLM特点进行系统级适配与优化，提升服务吞吐上限，降低单Token推理成本
- 针对VLM多图/长视频场景下KV Cache巨大的问题，设计高效的显存管理方案，优化SGLang的RadixAttention机制，结合PagedAttention等分页管理策略，最大化Batch Size与缓存命中率
- 落地并优化量化方案（FP8/INT4/AWQ/GPTQ）、投机采样等降本增效手段，在保证生成质量的前提下提升每GPU的服务吞吐，降低单位Token的算力成本
- 建立系统级性能看护体系，从请求接入、多模态数据预处理、Prefill计算到Decode自回归生成，进行全链路吞吐拆解与瓶颈定位，优化CPU预处理与GPU推理之间的数据管道
任职要求
- 精读过SGLang核心源码，对其调度器、RadixAttention缓存机制、CUDA Graph加速、Overlap调度等核心模块有系统性理解与实战优化经验，熟悉vLLM并有对比认知者更佳
- 深刻理解VLM推理与纯文本LLM推理的差异，并有针对性的架构优化经验
- 熟悉主流量化推理方案（FP8/INT4/AWQ/GPTQ）的原理与落地代价，有投机采样的实战经验，能够在质量与吞吐之间做出精准的工程权衡
- 具备端到端的吞吐拆解能力，能够精准定位CPU预处理、数据传输、GPU计算等各环节的吞吐瓶颈，并有系统化的方法论驱动持续优化
- 加分项：有VLM大规模推理服务落地经验并有显著的吞吐/成本优化成果；熟悉多模态输入的预处理/后处理优化；有Triton Inference Server/TensorRT-LLM等其他推理框架的深度使用经验
加分项
- 有 VLM（含视频输入）大规模推理服务落地经验，并有显著的吞吐/成本优化成果
- 熟悉多模态输入的预处理/后处理优化（如图像 Resize/归一化与 GPU 之间的零拷贝流水线）
- 有 Triton Inference Server / TensorRT-LLM 等其他推理框架的深度使用经验