高级/主任软件工程师，云推理发布工程
岗位摘要
处于前沿模型发布的关键路径上，为新模型架构启动推理，并与自研平台同步将其发布到各云平台；与核心推理团队合作，将新的推理功能（如结构化采样、提示缓存等）引入云平台，负责使其顺利上线的平台专属集成工作
岗位职责
- 处于前沿模型发布的关键路径上，为新模型架构启动推理，并与自研平台同步将其发布到各云平台
- 与核心推理团队合作，将新的推理功能（如结构化采样、提示缓存等）引入云平台，负责使其顺利上线的平台专属集成工作
- 识别并深入排查导致推理在自研平台与云服务商之间表现差异的根因——配置漂移、可观测性、部署模式、跨平台疑难缺陷——并从源头修复，而非构建平台专属的变通方案
- 设计、构建并负责云平台上推理服务器与负载均衡器的 CI/CD 基础设施，包括影子流量、性能基线（吞吐与延迟）以及能在生产前发现回归的正确性检查
- 缩短从合并到上线的周期，使验证更快、更并行、成本更低，足以在服务客户的同一受限加速器资源池上运行，同时不牺牲可靠性
- 分析各云服务商的可观测性数据，识别性能瓶颈、成本异常与回归问题，并基于真实生产负载推动修复
任职要求
- 对 LLM 推理服务有强烈兴趣；无需具备推理或机器学习经验
- 具备丰富的软件工程经验，在高性能、大规模分布式系统（服务数百万用户）方面有深厚背景
- 有构建自动化或测试基础设施、并能可量化地提升发布速度或可靠性的成功记录
- 有在至少一个主流云平台（AWS、GCP 或 Azure）上构建或运维服务的经验，并接触过 Kubernetes、基础设施即代码或容器编排
- 擅长与内部团队及外部合作伙伴进行跨职能协作
- 学习能力强，能快速掌握新技术、硬件平台和云服务商生态
- 高度自主，能端到端地负责问题，包括承担职责范围之外的工作