大模型推理服务框架开发工程师
岗位摘要
基于壁仞GPU生态，实现大模型推理服务框架，进行特性覆盖和持续升级，包括vllm、SGLang等主流方向；基于壁仞GPU生态，通过量化、算子融合、通信优化、并行策略、投机采样、PD分离等多种技术手段，持续提升大模型性能
岗位职责
- 基于壁仞GPU生态，实现大模型推理服务框架，进行特性覆盖和持续升级，包括vllm、SGLang等主流方向
- 基于壁仞GPU生态，通过量化、算子融合、通信优化、并行策略、投机采样、PD分离等多种技术手段，持续提升大模型性能
任职要求
- 硕士及以上学历，计算机、数学、软件工程、自动化、通信、微电子等相关专业
- 三年以上相关工作经历
- 熟悉深度学习算法
- 有vLLM、SGLANG或TensorRT等推理引擎开发经验者优先
- 有CUDA编程经验优先
- 熟悉C/C++或python，有扎实的编程基础、良好的编程风格和工作习惯
- 具备良好的学习和理解能力，逻辑思维强，自驱力强
- 具备良好的团队协作精神，责任心强，做事踏实、认真
- 能够积极主动地完成相关工作，具备一定抗压能力