AI基础设施工程师（推理方向）
岗位摘要
基于壁仞GPU软件栈，开发大模型推理服务框架；围绕并行策略、GPU通信、算子融合、量化压缩等方面，持续优化模型推理性能；提升线上模型服务的吞吐量及整体运行效率；硕士及以上学历，计算机、数学、软件工程、自动化、通信、微电子等相关专业
岗位职责
- 基于壁仞GPU软件栈，开发大模型推理服务框架
- 围绕并行策略、GPU通信、算子融合、量化压缩等方面，持续优化模型推理性能
- 提升线上模型服务的吞吐量及整体运行效率
任职要求
- 硕士及以上学历，计算机、数学、软件工程、自动化、通信、微电子等相关专业
- 三年及以上相关工作经历
- 扎实的编程能力，熟练使用C/C++或Python
- 熟悉大模型推理技术栈
- 有vLLM、SGLang、TensorRT-LLM等大模型推理框架适配开发经验者优先
- 有CUDA编程经验者优先
福利待遇
- 薪资范围：35,000至55,000元人民币/月
- 工作地点：上海市闵行区浦江科技广场16号楼
工作地址
上海闵行区浦江科技广场16号楼