云推理方向资深/主任软件工程师
岗位摘要
设计、构建并负责跨多个云服务商（CSP）的后端服务和基础设施，以支持Claude推理，并考虑计算硬件、网络、API和运营模式的差异；与内部推理、产品API、系统和安全团队以及CSP合作伙伴跨职能合作，在新云平台上搭建完整的服务栈，解决运营问题，并影响供应商路线图
岗位职责
- 设计、构建并负责跨多个云服务商（CSP）的后端服务和基础设施，以支持Claude推理，并考虑计算硬件、网络、API和运营模式的差异
- 与内部推理、产品API、系统和安全团队以及CSP合作伙伴跨职能合作，在新云平台上搭建完整的服务栈，解决运营问题，并影响供应商路线图
- 构建和演进CI/CD自动化系统，包括验证和部署管道，确保新模型版本可靠地交付给数百万用户而不出现回归
- 设计跨CSP的接口和工具抽象，实现成本效益高的推理管理，扩展跨供应商能力，并降低各平台复杂性
- 参与容量规划、自动扩缩容和工作负载路由策略，匹配供需并将请求导向最具成本效益的加速器和区域
- 分析跨供应商的可观测性数据，识别性能瓶颈、成本异常和回归，并基于真实生产工作负载推动修复
任职要求
- 拥有丰富的软件工程经验，在高性能、大规模分布式系统服务数百万用户方面有深厚背景
- 在至少一个主流云平台（AWS、GCP或Azure）上构建或运营服务经验，熟悉Kubernetes、基础设施即代码或容器编排
- 对LLM推理服务有好奇心；不要求先前有推理或机器学习经验
- 擅长与内部团队和外部合作伙伴跨职能协作
- 有与外部合作伙伴合作并对齐目标、交付影响力的经验
- 学习速度快，能快速掌握新技术、硬件平台和供应商生态系统
- 高度自主，能端到端负责问题，包括职责范围之外的工作