返回岗位列表

大模型推理引擎开发工程师

查看原岗位

地点：北京薪资：薪资未公开日期：2026-07-20

岗位摘要

基于SGLang进行大模型推理引擎与服务侧开发，提升吞吐、降低时延与成本，保障线上稳定性；支持RL训练相关的推理链路，包括rollout生成、打分/奖励模型推理等，优化训练闭环效率与资源利用

岗位职责

基于SGLang进行大模型推理引擎与服务侧开发，提升吞吐、降低时延与成本，保障线上稳定性
支持RL训练相关的推理链路，包括rollout生成、打分/奖励模型推理等，优化训练闭环效率与资源利用
建设推理侧的监控与性能分析能力，参与线上问题定位与故障处理
与算法/训练团队协作，将模型与训练需求落地到可运行、可维护的推理系统，并输出必要的技术文档

任职要求

熟练使用Python/C++（至少一种），具备良好的工程能力与性能意识
熟悉GPU推理与常见深度学习框架（如PyTorch），了解分布式通信与并行基本概念（NCCL等）
了解并使用过SGLang（或能快速上手并承担核心模块开发与调优）
理解RL训练中推理侧的作用，能够与训练流程协同推进落地
具备线上系统排障能力，能通过日志/指标定位性能与稳定性问题

加分项

有大模型推理系统、RLHF/RL 推理链路或训练-推理协同经验
有推理性能profiling、算子/运行时优化经验

福利待遇

加分项：有大模型推理系统、RLHF/RL推理链路或训练-推理协同经验
加分项：有推理性能profiling、算子/运行时优化经验
加分项：有MoE模型优化经验