推理方向资深软件工程师
岗位摘要
设计、构建并维护将 Claude 服务给全球数百万用户的分布式系统；开发具备韧性与灵活性的系统，能够实时适应现实世界事件；开发跨数千个加速器的智能请求路由、负载均衡和流量管理系统；通过自动扩缩容和编排生产、研究与实验工作负载，最大化整个集群的计算效率
岗位职责
- 设计、构建并维护将 Claude 服务给全球数百万用户的分布式系统
- 开发具备韧性与灵活性的系统，能够实时适应现实世界事件
- 开发跨数千个加速器的智能请求路由、负载均衡和流量管理系统
- 通过自动扩缩容和编排生产、研究与实验工作负载，最大化整个集群的计算效率
- 构建并运营生产级部署流水线，向用户发布新模型
- 提供高性能推理基础设施，使研究人员能够开发下一代模型
- 集成新的 AI 加速器平台，并支持新模型架构的推理
任职要求
- 精通 Python 或 Rust
- 具备在生产环境中构建和运维分布式系统的软件工程经验
- 熟悉容器化基础设施（如 Kubernetes）以及至少一个主流云平台（AWS、GCP 或 Azure）
- 结果导向，倾向于灵活应变并追求影响力
- 愿意主动补位，即使工作超出岗位职责范围
- 渴望深入学习机器学习系统与基础设施
- 能在技术卓越直接推动业务成果与研究突破的环境中茁壮成长
- 关心自身工作对社会的影响
- 拥有高性能、大规模分布式系统的丰富经验
- 具备大规模实现和部署机器学习系统的经验
- 有构建负载均衡、请求路由或流量管理系统的经验
- 熟悉大语言模型推理优化、批处理与缓存策略
- 具备大规模运维 Kubernetes 和云基础设施的深厚经验
- 有 AI 加速器平台（GPU、TPU 或新兴硬件）经验