AIGC推理解决方案工程师
岗位摘要
参与分布式推理系统建设,提供LLM/多模态模型解决方案;针对大语言模型(LLM)、视觉生成(如Diffusion Models)等场景,开展端到端推理性能优化,重点降低推理延迟、提升吞吐量
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 参与分布式推理系统建设,提供LLM/多模态模型解决方案
- 针对大语言模型(LLM)、视觉生成(如Diffusion Models)等场景,开展端到端推理性能优化,重点降低推理延迟、提升吞吐量
- 深度优化推理框架,提升框架在异构硬件上的扩展性与易用性
- 开发自动化性能分析工具,实现推理瓶颈的快速定位与优化建议生成
任职要求
- 计算机、电子工程、自动化、数学等相关专业优先
- 精通Python/C++,具备CUDA/BANGC等异构编程经验
- 对硬件算力与模型效率的平衡有深刻认知,能设计兼顾性能与成本的优化方案
- 深入理解LLM或者视觉生成模型原理,具备以下至少一个领域的实战经验:a)大模型推理框架:vLLM/SGLang/FasterTransformer/TensorRT-LLM;b)视觉生成系统:Diffusers/ComfyUI/xDiT
- 深入理解量化、kvcache、多机多卡并行等加速技术
- 有GPU/加速卡调优实践经验者优先
- 有开源仓库的贡献经验者优先
- 参与过LLM或者视觉生成端到端推理优化项目并实际落地者优先
- 有集群部署经验者优先
- 了解torch.compile/CUDAGraph/Triton者优先
加分项
- 参与过LLM或者视觉生成端到端推理优化项目,并实际落地
- 了解torch.
- compile/CUDAGraph/Triton
- 田先生 刚刚活跃
工作地址
北京海淀区致真大厦D座16层
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。