返回岗位列表

分布式推理系统工程师

查看原岗位

地点：北京薪资：薪资未公开日期：2025-03-07

岗位摘要

参与分布式推理系统建设，提供行业领先的LLM/多模态模型解决方案；针对大语言模型和视觉生成模型进行端到端推理性能优化，降低延迟、提升吞吐量；深度优化推理框架在异构硬件上的扩展性与易用性

岗位职责

参与分布式推理系统建设，提供行业领先的LLM/多模态模型解决方案
针对大语言模型和视觉生成模型进行端到端推理性能优化，降低延迟、提升吞吐量
深度优化推理框架在异构硬件上的扩展性与易用性

任职要求

计算机、电子工程、自动化、数学等相关专业优先
精通Python/C++，具备CUDA/BANGC等异构编程经验
深入理解LLM或视觉生成模型原理，具备主流推理框架或生成系统的实战经验

加分项

参与过LLM或者视觉生成端到端推理优化项目，并实际落地
了解torch.compile/CUDAGraph/Triton