AI可靠性资深软件工程师
岗位摘要
为大型语言模型服务系统制定合适的服务等级目标，在可用性、延迟与开发速度之间取得平衡；设计并实现覆盖 token 路径的监控与可观测性系统；协助设计和实现跨多个区域及云供应商的高可用服务基础设施
岗位职责
- 为大型语言模型服务系统制定合适的服务等级目标，在可用性、延迟与开发速度之间取得平衡
- 设计并实现覆盖 token 路径的监控与可观测性系统
- 协助设计和实现跨多个区域及云供应商的高可用服务基础设施
- 主导关键 AI 服务的事件响应，确保快速恢复、深入复盘并推动系统性改进
- 支持安全模型服务的可靠性，这对站点可靠性和 Anthropic 的安全承诺都至关重要
任职要求
- 具备扎实的分布式系统、基础设施或可靠性背景，我们寻找具有可靠性思维的软件工程师和 SRE
- 保持好奇与勇气，在事件中能快速进入不熟悉的系统，即使尚未具备深厚专业知识也能推动问题解决
- 能从整体上思考系统如何组合以及边界与衔接点在哪里
- 能够跨团队建立持久关系，以队友而非外部评判者的身份被欢迎并参与协作
- 关心用户并对结果有主人翁意识，即使系统并非自己直接负责
- 具备出色的沟通与协作能力，需要与整个公司范围内的团队合作
- 带来多元经验，团队的力量来自构建产品栈、扩展数据库、运行大规模分布式系统等不同背景
- 曾担任 SRE、生产工程师或在大规模系统中从事类似可靠性岗位
- 具有运营大规模模型服务或训练基础设施（超过 1000 块 GPU）的经验
- 具有一种或多种机器学习硬件加速器（GPU、TPU、Trainium）的使用经验
- 理解 RDMA、InfiniBand 等机器学习专用网络优化
- 精通 AI 专用可观测性工具与框架
- 具有混沌工程和系统性韧性测试经验
- 曾为开源基础设施或机器学习工具作出贡献