Staff+ 软件工程师,Kubernetes 平台
岗位摘要
负责并扩展 Anthropic 加速器集群的 Kubernetes 调度器,包括用于 gang scheduling、拓扑感知和抢占的自定义调度插件与策略;扩展 Kubernetes 控制平面(apiserver、etcd、controller-manager),支持远超常规限制的集群,并在下一个…
岗位职责
- 负责并扩展 Anthropic 加速器集群的 Kubernetes 调度器,包括用于 gang scheduling、拓扑感知和抢占的自定义调度插件与策略
- 扩展 Kubernetes 控制平面(apiserver、etcd、controller-manager),支持远超常规限制的集群,并在下一个瓶颈出现前发现它
- 设计、构建并运营核心集群服务(如服务发现),这些服务是集群中每个工作负载所依赖的
- 构建并维护自定义控制器、Operator 和 CRD
- 与研究、训练和推理团队合作,理解工作负载形态,并将其需求转化为平台能力
- 与云服务提供商协作,推动所需功能并处理升级支持
- 参与 on-call、领导故障响应,并设计事后复盘、运行手册、SLO 等流程,帮助团队避免重复故障
任职要求
- 拥有构建和运营生产级分布式系统的丰富软件工程经验
- 精通至少一种适合系统编程的语言(如 Go、Python、Rust 或 C++)
- 具备深入且实际的 Kubernetes 经验(远超“使用者”层面),深入调度器、控制器、apiserver,或运营大型多租户集群
- 具备跨栈调试复杂问题的能力,能从 API 行为一直排查到节点和网络层根因
- 有在他人依赖的系统设计中体现可靠性、正确性和清晰故障语义的记录
- 具备出色的书面和口头沟通能力,能从容与内部利益相关者建立共识
- 优先:有 Kubernetes 内部机制或贡献经验:kube-scheduler/调度框架、apiserver、etcd、client-go、controller-runtime 等
- 优先:有构建或运营集群调度器或批处理系统的经验(如 Kueue、Volcano、Slurm 或内部同类系统)
- 优先:有扩展控制平面或协调系统的背景(etcd、ZooKeeper、Consul,或大规模 DNS/服务网格部署)
- 优先:熟悉 ML 基础设施:GPU、TPU 或 Trainium;gang scheduling;拓扑感知放置;NCCL 等集合通信
- 优先:有 GCP 和/或 AWS 经验,包括 GKE/EKS 内部机制和基础设施即代码
- 优先:具备底层系统经验,如 Linux 内核调优、cgroups 等