大模型推理框架开发工程师
岗位摘要
基于壁仞GPU软件栈开发大模型及多模态大模型推理服务框架;围绕并行策略、GPU通信、算子融合、量化压缩持续优化推理性能;降低模型推理延迟,提升线上服务吞吐量;硕士及以上学历,计算机、数学、软件工程、自动化、通信、微电子等相关专业,3年以上相关经验
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 基于壁仞GPU软件栈开发大模型及多模态大模型推理服务框架
- 围绕并行策略、GPU通信、算子融合、量化压缩持续优化推理性能
- 降低模型推理延迟,提升线上服务吞吐量
任职要求
- 硕士及以上学历,计算机、数学、软件工程、自动化、通信、微电子等相关专业,3年以上相关经验
- 扎实的编程能力,熟练使用C/C++或Python
- 熟悉大模型推理技术栈,有vLLM、SGLang、LMDeploy、TensorRT-LLM等框架适配经验优先,有CUDA编程经验优先
- 热爱技术,追求卓越,具备良好的学习能力、团队协作能力、自驱力和逻辑思维
福利待遇
- 15薪,年薪30-50K区间
- 参与前沿大模型推理框架研发,技术成长空间大
- 团队氛围开放,鼓励创新与持续学习
工作地址
上海闵行区壁仞科技12层
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。