推理部署 Staff 级/高级软件工程师
岗位摘要
设计、构建并维护为全球数百万用户提供 Claude 服务的分布式系统；开发可实时适应真实世界事件的弹性、灵活系统；开发跨数千个加速器的智能请求路由、负载均衡和流量管理系统；通过自动扩缩容和编排生产、研究与实验性工作负载，最大化整个集群的算力效率
岗位职责
- 设计、构建并维护为全球数百万用户提供 Claude 服务的分布式系统
- 开发可实时适应真实世界事件的弹性、灵活系统
- 开发跨数千个加速器的智能请求路由、负载均衡和流量管理系统
- 通过自动扩缩容和编排生产、研究与实验性工作负载，最大化整个集群的算力效率
- 构建并运营生产级部署流水线，向用户发布新模型
- 提供高性能推理基础设施，使研究人员能够开发下一代模型
- 集成新的 AI 加速器平台，并支持新模型架构的推理
任职要求
- 具有丰富的软件工程经验，尤其是在分布式系统方面
- 结果导向，偏爱灵活性和影响力
- 愿意承担职责之外的补位工作
- 渴望深入学习机器学习系统与基础设施
- 在技术卓越能直接推动业务成果与研究突破的环境中如鱼得水
- 关心自己工作的社会影响
- 具有高性能、大规模分布式系统经验
- 具有大规模实现和部署机器学习系统的经验
- 具有负载均衡、请求路由或流量管理系统经验
- 熟悉 LLM 推理优化、批处理和缓存策略
- 具有 Kubernetes 和云基础设施（AWS、GCP、Azure）经验
- 精通 Python 或 Rust