首席/高级软件工程师，云推理发布工程
岗位摘要
在前沿模型发布的关键路径上工作，为新模型架构启动推理，并与第一方平台同步将其发布到云平台；与核心推理团队合作，将新的推理功能（如结构化采样、提示缓存等）引入云平台，负责平台特定集成以投入生产
岗位职责
- 在前沿模型发布的关键路径上工作，为新模型架构启动推理，并与第一方平台同步将其发布到云平台
- 与核心推理团队合作，将新的推理功能（如结构化采样、提示缓存等）引入云平台，负责平台特定集成以投入生产
- 识别并深入分析导致第一方和云服务商之间推理行为差异的缺口（配置漂移、可观测性、部署模式、跨平台错误），并从源头修复，而非构建平台特定的变通方案
- 设计、构建并拥有跨云平台的推理服务器和负载均衡器的 CI/CD 基础设施，包括影子流量、性能基线（吞吐量和延迟）以及在生产前捕获回归的正确性检查
- 通过使验证更快、更并行、更具成本效益，缩短从合并到生产的周期时间，同时不牺牲可靠性
- 分析跨提供商的可观测性数据，识别性能瓶颈、成本异常和回归，并基于真实生产工作负载推动修复
任职要求
- 对 LLM 服务有浓厚兴趣；不要求先前有推理或机器学习经验
- 拥有丰富的软件工程经验，在高性能、大规模分布式系统服务数百万用户方面有深厚背景
- 有构建自动化或测试基础设施并显著提高发布速度或可靠性的记录
- 有在至少一个主要云平台（AWS、GCP 或 Azure）上构建或运营服务的经验，熟悉 Kubernetes、基础设施即代码或容器编排
- 擅长与内部团队和外部合作伙伴进行跨职能协作
- 是快速学习者，能迅速掌握新技术、硬件平台和提供商生态系统
- 高度自主，能端到端地解决问题，包括从零开始的工作