主任/高级软件工程师，推理基础设施
岗位摘要
设计、构建并维护面向全球数百万用户的 Claude 分布式服务系统；开发可实时适应真实世界事件的弹性、灵活系统；构建跨数千个加速器的智能请求路由、负载均衡和流量管理系统；通过自动扩缩容与编排生产、研究和实验负载，最大化整个集群的计算效率
岗位职责
- 设计、构建并维护面向全球数百万用户的 Claude 分布式服务系统
- 开发可实时适应真实世界事件的弹性、灵活系统
- 构建跨数千个加速器的智能请求路由、负载均衡和流量管理系统
- 通过自动扩缩容与编排生产、研究和实验负载，最大化整个集群的计算效率
- 构建并运营生产级部署流水线，向用户发布新模型
- 提供高性能推理基础设施，使研究人员能够开发下一代模型
- 集成新的 AI 加速器平台，并支持新模型架构的推理
任职要求
- 具备丰富的软件工程经验，尤其是分布式系统方向
- 结果导向，重视灵活性和影响力
- 愿意主动承担职责之外的工作
- 渴望深入学习机器学习系统与基础设施
- 能在技术卓越直接推动业务成果和研究突破的环境中表现出色
- 关心自己工作的社会影响
- 具有高性能、大规模分布式系统经验
- 具有大规模实现和部署机器学习系统的经验
- 具有负载均衡、请求路由或流量管理系统经验
- 熟悉大语言模型推理优化、批处理和缓存策略
- 具有 Kubernetes 和云基础设施经验（AWS、GCP、Azure）
- 熟练掌握 Python 或 Rust