大模型推理优化工程师
岗位摘要
负责大模型推理服务落地和优化,推动前沿大模型新架构的落地实施;持续跟进前沿技术,优化大模型推理性能,提升线上模型服务吞吐量,降低模型推理延迟,控制推理机器成本;负责开发和优化大模型推理系统,提升推理系统的性能、稳定性、可观测性和易用性
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 负责大模型推理服务落地和优化,推动前沿大模型新架构的落地实施
- 持续跟进前沿技术,优化大模型推理性能,提升线上模型服务吞吐量,降低模型推理延迟,控制推理机器成本
- 负责开发和优化大模型推理系统,提升推理系统的性能、稳定性、可观测性和易用性
- 使用GPU编程和系统优化手段实现高性能的推理优化算法,并将其落地于大模型推理系统中
任职要求
- 统招硕士及以上学历,计算机科学、人工智能等相关专业
- 熟悉Python,掌握常见的LLM推理加速框架如sglang、vllm等,能够根据业务需求进行优化
- 熟悉CPU/GPU下性能优化基本原理和方式方法,有服务端GPU程序加速经验
- 熟悉分布式推理常用加速方法,有分布式系统开发经验或大模型分布式部署经验者优先
- 具备严谨细致的工作态度,较强的团队协作能力
福利待遇
- 具有竞争力的薪酬,40-70K·16薪
- 加入国内领先的大模型人工智能企业智谱华章
- 海淀区搜狐网络大厦办公,环境优越
- 参与前沿大模型技术落地,成长空间大
工作地址
北京海淀区搜狐网络大厦7层
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。