（高级/资深）AI推理可靠性工程师，计算基础设施
岗位摘要
负责生产环境中配置状态机的运行，包括主机生命周期管道、发现、推理启动、GPU驱动/CUDA验证、健康检查、退役/RMA，并在集群规模下处理卡住或失败的状态转换；分诊并扩展自动自愈能力：诊断新的故障模式，如InfiniBand问题、GPU Xid变体、特定模型或LoRA故障，并推动修复上线，将其转化…
岗位职责
- 负责生产环境中配置状态机的运行，包括主机生命周期管道、发现、推理启动、GPU驱动/CUDA验证、健康检查、退役/RMA，并在集群规模下处理卡住或失败的状态转换
- 分诊并扩展自动自愈能力：诊断新的故障模式，如InfiniBand问题、GPU Xid变体、特定模型或LoRA故障，并推动修复上线，将其转化为自动检测/修复插件
- 负责管道端到端的可靠性：维护SLO和错误预算，领导事件响应，推动系统性修复而非临时补丁
- 与推理/ML平台团队合作，从生产角度反馈实际集群拓扑、互连和调度约束的故障模式，作为平台抽象的一流需求
- 与机器学习研究人员、工程师和产品经理合作，将最新技术投入生产
- 引入新技术、工具和架构，提升模型推理栈的性能、延迟、吞吐量和效率
- 构建工具以洞察瓶颈和不稳定来源，并设计实施解决方案
- 跨职能领导可靠性工作：在基础设施、ML平台和产品团队间建立共识，管理利益相关者，并在规划中代表可靠性观点
任职要求
- 具有大规模分布式系统或GPU服务系统的生产可靠性经验
- 熟悉InfiniBand/RDMA故障排除
- 具有Kubernetes控制器/CRD平台经验
- 具备构建和扩展自动化系统的能力
- 能够主导事件响应和事后分析
- 具备产品思维，关注on-call体验和告警清晰度