返回岗位列表

大模型推理框架开发工程师

查看原岗位

地点：杭州薪资：25-50K 日期：2026-03-03

岗位摘要

基于壁仞GPU软件栈，开发大模型及多模态大模型推理服务框架；围绕并行策略、GPU通信、算子融合、量化压缩等方向持续优化大语言模型推理性能；降低模型推理延迟，提升线上模型服务吞吐；硕士及以上学历，计算机、数学、软件工程、自动化、通信、微电子等相关专业，3年及以上相关经验

岗位职责

基于壁仞GPU软件栈，开发大模型及多模态大模型推理服务框架
围绕并行策略、GPU通信、算子融合、量化压缩等方向持续优化大语言模型推理性能
降低模型推理延迟，提升线上模型服务吞吐

任职要求

硕士及以上学历，计算机、数学、软件工程、自动化、通信、微电子等相关专业，3年及以上相关经验
扎实的编程能力，熟练使用C/C++或Python
熟悉大模型推理技术栈，有vLLM、SGLang、LMDeploy、TensorRT-LLM等框架适配开发经验者优先，有CUDA编程经验者优先
热爱技术、追求卓越，具备良好的学习能力、团队协作能力、自驱力和逻辑思维

福利待遇

与顶尖GPU芯片团队深度合作，参与前沿大模型推理优化
技术氛围浓厚，扁平管理，成长空间大
杭州滨江核心地段办公，交通便利

工作地址

杭州滨江区海威天地T3-28