Staff+ 高级软件工程师，规模化
岗位摘要
设计、构建与维护支撑 Claude 服务全球数百万用户的分布式系统；开发具备韧性与灵活性的系统，能够实时适应现实世界事件；为跨数千个加速器和多个云提供商的场景开发智能请求路由、负载均衡与流量管理系统
岗位职责
- 设计、构建与维护支撑 Claude 服务全球数百万用户的分布式系统
- 开发具备韧性与灵活性的系统，能够实时适应现实世界事件
- 为跨数千个加速器和多个云提供商的场景开发智能请求路由、负载均衡与流量管理系统
- 通过在多个云提供商间自动扩缩和编排生产、研究与实验工作负载，最大化整个集群的计算效率并优化成本
- 构建并运营生产级部署流水线，向用户发布新模型
- 提供高性能推理基础设施，使研究人员能够开发下一代模型
- 集成新的 AI 加速器平台，并支持新模型架构的推理
- 设计智能路由算法，优化不同环境中众多加速器上的请求分布
- 自动扩缩计算集群，动态匹配生产、研究与实验工作负载的供需
- 构建生产级部署流水线，可靠地向数百万用户发布新模型
- 参与新推理功能开发
- 支持新模型架构的推理
任职要求
- 拥有丰富的软件工程经验，尤其是分布式系统方向
- 结果导向，重视灵活性与影响力
- 愿意主动补位，即使工作超出岗位描述范围
- 渴望深入学习机器学习系统与基础设施
- 能在技术卓越直接推动业务成果与研究突破的环境中茁壮成长
- 关心自己工作的社会影响
- 具有高性能、大规模分布式系统经验
- 具有大规模实现和部署机器学习系统的经验
- 具有负载均衡、请求路由或流量管理系统经验
- 熟悉 LLM 推理优化、批处理与缓存策略
- 具有 Kubernetes 和云基础设施（AWS、GCP、Azure）经验
- 精通 Python 或 Rust