分布式推理工程师
岗位摘要
参与主流大模型在公司自研GPU上的推理部署、性能优化与工程落地工作；参与推理框架及GPU软件栈的优化，定位并解决各类功能、稳定性及性能问题；探索大模型推理前沿技术，持续提升AI应用在GPU上的整体运行效率
岗位职责
- 参与主流大模型在公司自研GPU上的推理部署、性能优化与工程落地工作
- 参与推理框架及GPU软件栈的优化，定位并解决各类功能、稳定性及性能问题
- 探索大模型推理前沿技术，持续提升AI应用在GPU上的整体运行效率
任职要求
- 计算机、软件工程、人工智能、电子信息等相关专业，本科及以上学历
- 具备扎实的数据结构、算法和计算机基础知识，熟练掌握C/C++或Python编程语言
- 熟悉PyTorch等主流深度学习框架，具备相关课程学习、科研或项目实践经验
- 了解Transformer、大语言模型及推理部署相关技术
- 了解GPU编程、并行计算或性能优化相关知识，对AI基础软件和大模型推理优化方向具备浓厚兴趣
- 具备良好的学习能力、沟通协作能力和自驱力，乐于主动探索前沿技术
- 【加分项】掌握SGLang、vLLM、TensorRT-LLM等推理框架，具备相关实践经验
- 【加分项】拥有大模型推理部署、性能优化或AI基础软件相关项目、科研、竞赛经验
- 【加分项】熟悉量化、KV Cache、分布式推理等主流推理优化技术
- 【加分项】了解CUDA、Triton、RDMA、AI Infrastructure、Kubernetes等相关技术
- 【加分项】参与过开源项目、发表学术论文，或在ACM、Kaggle、数学建模等竞赛中取得优异成绩
加分项
- 掌握 SGLang、vLLM、TensorRT
- LLM 等推理框架，具备相关实践经验 拥有大模型推理部署、性能优化或 AI 基础软件相关项目、科研、竞赛经验 熟悉量化、KV Cache、分布式推理等主流推理优化技术 了解 CUDA、Triton、RDMA、AI Infrastructure、Kubernetes 等相关技术 参与过开源项目、发表学术论文，或在 ACM、Kaggle、数学建模等竞赛中取得优异成绩
- 刘女士 今日活跃
福利待遇
- 薪资范围：28K–55K，共16薪
- 工作地点：上海浦东新区
工作地址
上海浦东新区摩尔线程智能科技(上海)有限责任公司12