主任级/高级软件工程师，推理
岗位摘要
设计、构建并维护服务全球数百万用户的 Claude 分布式系统；开发可实时适应真实世界事件的有韧性、灵活的系统；开发跨数千个加速器的智能请求路由、负载均衡和流量管理系统；通过自动扩缩容和编排生产、研究及实验工作负载，最大化集群算力效率
岗位职责
- 设计、构建并维护服务全球数百万用户的 Claude 分布式系统
- 开发可实时适应真实世界事件的有韧性、灵活的系统
- 开发跨数千个加速器的智能请求路由、负载均衡和流量管理系统
- 通过自动扩缩容和编排生产、研究及实验工作负载，最大化集群算力效率
- 构建并运营生产级部署流水线，向用户发布新模型
- 提供高性能推理基础设施，使研究人员能够开发下一代模型
- 集成新的 AI 加速器平台，并支持新模型架构的推理
任职要求
- 具有丰富的软件工程经验，尤其是分布式系统方向
- 结果导向，注重灵活性与影响力
- 愿意主动补位，即使超出岗位职责范围
- 渴望深入了解机器学习系统与基础设施
- 能在技术卓越直接驱动业务成果与研究突破的环境中蓬勃发展
- 关心自身工作的社会影响
- 具有高性能、大规模分布式系统经验
- 具有大规模实现和部署机器学习系统的经验
- 具有负载均衡、请求路由或流量管理系统经验
- 熟悉 LLM 推理优化、批处理与缓存策略
- 具有 Kubernetes 和云基础设施（AWS、GCP、Azure）经验
- 精通 Python 或 Rust