AIGC推理框架研发工程师（北京）
岗位摘要
参与分布式推理系统建设，提供行业领先的LLM及多模态模型解决方案；针对大语言模型（LLM）、视觉生成（如Diffusion Models）等场景，开展端到端推理性能优化，重点降低推理延迟、提升吞吐量
岗位职责
- 参与分布式推理系统建设，提供行业领先的LLM及多模态模型解决方案
- 针对大语言模型（LLM）、视觉生成（如Diffusion Models）等场景，开展端到端推理性能优化，重点降低推理延迟、提升吞吐量
- 深度优化推理框架，提升框架在异构硬件上的扩展性与易用性
- 开发自动化性能分析工具，实现推理瓶颈的快速定位与优化建议生成
任职要求
- 计算机、电子工程、自动化、数学等相关专业优先，硕士及以上学历
- 精通Python/C++，具备CUDA/BANGC等异构编程经验
- 对硬件算力与模型效率的平衡有深刻认知，能设计兼顾性能与成本的优化方案
- 深入理解LLM或视觉生成模型原理，具备以下至少一个领域的实战经验：大模型推理框架（vLLM/SGLang/FasterTransformer/TensorRT-LLM）或视觉生成系统（Diffusers/ComfyUI/xDiT）
- 深入理解量化、KV Cache、多机多卡并行等加速技术
- （加分项）有GPU/加速卡调优实践经验
- （加分项）有开源仓库贡献经验
- （加分项）参与过LLM或视觉生成端到端推理优化项目并实际落地
- （加分项）有集群部署经验
- （加分项）了解torch.compile/CUDAGraph/Triton等技术
加分项
- 参与过LLM或者视觉生成端到端推理优化项目，并实际落地
- 了解torch.
- compile/CUDAGraph/Triton
- 芦先生 刚刚活跃
福利待遇
- 薪资范围：30K–60K，共15薪
- 工作地点：北京海淀区北航致真大厦D座
工作地址
北京海淀区北航致真大厦D座