大模型推理优化工程师
岗位摘要
设计和开发大模型推理优化及计算框架，提升推理效率；通过量化、并行计算、访存优化等方法优化单卡/多卡/多机场景下的推理时延与吞吐；进行模型性能分析与调优，识别并解决瓶颈问题；实施和维护自动化工具与流程，简化模型部署
岗位职责
- 设计和开发大模型推理优化及计算框架，提升推理效率
- 通过量化、并行计算、访存优化等方法优化单卡/多卡/多机场景下的推理时延与吞吐
- 进行模型性能分析与调优，识别并解决瓶颈问题
- 实施和维护自动化工具与流程，简化模型部署
- 跟踪前沿技术趋势，提出创新方案推动团队技术发展
任职要求
- 计算机/数学相关专业本科及以上学历，4年以上相关经验
- 精通C++/Python，具备模型训练/推理的编程与优化经验
- 熟悉PyTorch、HF、vLLM、SGLang等机器学习/推理框架
- 有大模型或深度学习推理优化经验者优先
- 有推理框架社区贡献经验者优先
- 具备学术论文阅读及实验能力者优先