高性能计算工程师
岗位摘要
基于壁仞GPU软件栈，开发大模型和多模态大模型推理框架及服务系统，进行模型部署优化；围绕并行策略、GPU通信、算子融合、量化压缩等技术，持续优化大语言模型推理性能；降低模型推理延迟，提升线上模型服务的吞吐量
岗位职责
- 基于壁仞GPU软件栈，开发大模型和多模态大模型推理框架及服务系统，进行模型部署优化
- 围绕并行策略、GPU通信、算子融合、量化压缩等技术，持续优化大语言模型推理性能
- 降低模型推理延迟，提升线上模型服务的吞吐量
任职要求
- 计算机、数学、软件工程、自动化、通信、微电子等相关专业，本科2年或硕士1年以上相关工作经历
- 扎实的编程能力，熟练使用C/C++或Python编程
- 具备CUDA/OpenCL算子优化或其他端侧芯片（NPU/DSP/Arm）算子优化经验者优先
- 熟悉AI模型推理技术栈，有vLLM、SGLang、Torch、TensorRT等推理框架适配开发经验者优先
- 了解大模型推理优化常用技术，如PD分离、多卡CP/PP/TP并行、Chunked Prefill调度等
- 有Deepseek、Qwen等常见大模型架构优化经验者优先
- 热爱技术、追求卓越，具备良好的学习能力和团队协作能力，自驱力强，逻辑思维强
工作地址
杭州滨江区海威天地T3T328