大模型推理优化负责人
岗位摘要
负责公司大模型推理系统的端到端适配与调优工作；针对大模型推理系统运行过程中出现的功能性、稳定性及性能异常问题进行定位与解决；针对公司自研GPU架构优化大模型推理系统；5年及以上相关工作经历
岗位职责
- 负责公司大模型推理系统的端到端适配与调优工作
- 针对大模型推理系统运行过程中出现的功能性、稳定性及性能异常问题进行定位与解决
- 针对公司自研GPU架构优化大模型推理系统
任职要求
- 5年及以上相关工作经历
- 具备优秀的代码能力、数据结构和基础算法功底，熟练掌握C/C++或Python
- 熟悉至少一种主流机器学习框架，如PyTorch、TensorFlow等
- 熟悉至少一种主流大模型推理框架，如SGLang、vLLM等
- 熟悉大模型服务部署及优化技术，例如动态batching、投机预测、负载均衡等
- 熟悉大模型推理系统的profile工具使用与性能分析方法
- 熟悉至少一种大模型结构，如DeepSeek、Llama等
- 熟悉GPU分布式推理中的常见通信原语
- 掌握分布式推理并行策略，包括TP、PP、EP等
- 具有强烈的工作责任心，较好的学习能力、沟通能力和自驱力
- 具备良好的沟通协作能力，能与团队共同探索新技术并推进技术进步
- 加分项：具有半导体/芯片、人工智能或互联网行业相关经验
加分项
- 有以下行业经验：半导体/芯片·人工智能·互联网
- 常先生 刚刚活跃
福利待遇
- 薪资范围：50,000–80,000元/月，共16薪
工作地址
北京朝阳区望京国际研发园-I座1