大模型推理/训练工程师（校招）
岗位摘要
参与大规模深度学习推理框架的研发与优化，提供低延迟、高吞吐的大模型推理方案；负责底层算子的优化，通过优化访存pattern、计算提升推理性能；优化推理框架上层调度策略，通过机内、机间的计算调度和通讯优化提升引擎性能
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口，并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 参与大规模深度学习推理框架的研发与优化，提供低延迟、高吞吐的大模型推理方案
- 负责底层算子的优化，通过优化访存pattern、计算提升推理性能
- 优化推理框架上层调度策略，通过机内、机间的计算调度和通讯优化提升引擎性能
- 通过量化、投机采样以及稀疏化等方式，提升端到端的token吞吐
- 对推理框架进行设计抽象，满足异构算力芯片的接入需求
任职要求
- 熟悉Linux开发环境，良好的系统编程、数据结构、算法基础、系统设计能力，掌握C++/Python编程语言
- 熟悉TensorFlow、PyTorch、TensorRT、FasterTransformer等主流训练和推理框架，有相关优化经验者优先
- 熟悉编译优化技术及相关框架，如MLIR、TVM、XLA；有显存优化、算子融合、图优化等实操经验
- 熟悉CUDA编程，具备较好开发能力，熟悉Triton、Cutlass，有算子库开发经验者优先
- 具有良好的团队合作精神和沟通能力，能够对算法和底层的协同优化起到核心桥梁作用
工作地址
北京东城区明阳国际中心111
登录后查看完整岗位详情
使用邮箱验证码登录后，可查看完整职责、任职要求、原岗位入口，并继续使用收藏和浏览记录。列表摘要保持公开，完整详情用于保护数据质量和降低恶意抓取。