流式推理后端工程师
岗位摘要
负责将多模态大模型（包括视觉-语言模型等）集成到公司产品与服务中，推动模型从实验环境到生产环境的落地部署；构建并维护高可用、高效率的流式推理服务平台，保障系统稳定性与推理性能；与算法团队紧密协作，进行模型工程化优化，使用TensorRT、Triton等工具链提升推理效率
岗位职责
- 负责将多模态大模型（包括视觉-语言模型等）集成到公司产品与服务中，推动模型从实验环境到生产环境的落地部署
- 构建并维护高可用、高效率的流式推理服务平台，保障系统稳定性与推理性能
- 与算法团队紧密协作，进行模型工程化优化，使用TensorRT、Triton等工具链提升推理效率
- 负责后端服务开发，基于Docker、Kubernetes等技术构建容器化分布式推理服务
- 参与CI/CD流程建设，维护代码质量与技术文档，推动工程规范落地
任职要求
- 211院校及以上，计算机科学、软件工程、人工智能或相关专业本科及以上学历
- 3年以上分布式系统研发经验，1年以上机器学习/深度学习系统开发、模型部署或推理服务相关工作经验
- 精通Python，熟悉C++/Java/Go之一，熟悉PyTorch及Ray的原理与应用
- 具备丰富模型部署经验，熟悉至少一种模型优化与部署工具链（如TensorRT、Triton Inference Server、OpenVINO、FastAPI等）
- 熟悉Linux开发环境，掌握Docker容器化技术，熟练应用Kubernetes等编排工具，具备扎实后端服务开发能力
- 对多模态大模型基本原理有理解，具备出色逻辑思维、问题分析与解决能力，能在快节奏环境中高效工作