大模型推理框架开发工程师
岗位摘要
负责基于vLLM、SGLang等技术的大模型推理框架开发，包括设计和实现高效的推理引擎架构；优化推理过程中的计算流程，提高推理性能，满足不同规模大模型的实时推理需求；负责复杂大模型框架的性能评估和调优，构建并完善性能监控体系
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口，并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 负责基于vLLM、SGLang等技术的大模型推理框架开发，包括设计和实现高效的推理引擎架构
- 优化推理过程中的计算流程，提高推理性能，满足不同规模大模型的实时推理需求
- 负责复杂大模型框架的性能评估和调优，构建并完善性能监控体系
- 通过实时监测训练指标，定位性能瓶颈，提出优化方案，确保在不同硬件上达到最优性能
- 负责CUDA Kernel优化，开发高性能的GPU算子，提升大模型推理性能
任职要求
- 硕士及以上学历，计算机、软件工程、数学等相关专业，具备扎实计算机理论基础和丰富编程经验
- 在深度学习领域有深入研究与实践
- 精通Python，熟练掌握至少一种深度学习框架（如PyTorch），理解深度学习原理算法
- 有丰富模型开发与调优经验，能独立搭建复杂模型并优化性能
- 熟悉C++和CUDA编程，具备代码优化能力，能针对GPU等硬件高效编写和优化代码
- 了解硬件体系结构并进行针对性优化
- 熟悉大模型推理框架的基本原理和流程，了解vLLM、SGLang等大模型推理框架的核心技术和实现优先
- 有良好团队协作与沟通能力，能与不同背景成员有效沟通协作
- 责任心强、敬业热情，能承受工作压力，保证项目按时高质量交付
登录后查看完整岗位详情
使用邮箱验证码登录后，可查看完整职责、任职要求、原岗位入口，并继续使用收藏和浏览记录。列表摘要保持公开，完整详情用于保护数据质量和降低恶意抓取。