高级/初级AI推理可靠性工程师，计算基础设施
岗位摘要
在生产环境中操作配置状态机：负责主机生命周期管道、发现、推理启动、GPU驱动/CUDA验证、健康检查、退役/RMA的健康状况，在大规模集群中排查卡住或失败的状态转换，并将真实故障模式反馈到状态和转换的设计中
岗位职责
- 在生产环境中操作配置状态机：负责主机生命周期管道、发现、推理启动、GPU驱动/CUDA验证、健康检查、退役/RMA的健康状况，在大规模集群中排查卡住或失败的状态转换，并将真实故障模式反馈到状态和转换的设计中
- 分类并扩展自动化自愈：当节点扫描和修复平台遗漏某些问题时（如新故障模式、分离式预填充/解码服务中的InfiniBand问题、GPU Xid变体、特定模型或LoRA故障），现场诊断，推动修复到生产环境，并将其转化为新的检测/修复插件，以便下次自动处理
- 负责管道的端到端可靠性：持有配置和集群健康的SLO和错误预算，在幂等性、重试、回滚或漂移假设在实践中失效时领导事件响应，并推动系统性修复，而不仅仅是热修复
- 从生产侧与推理/ML平台团队合作：了解真实集群拓扑、互连和调度约束在实际中如何失败，并将这些故障模式作为一等需求反馈到平台的抽象中
- 与机器学习研究人员、工程师和产品经理合作，将最新技术投入生产，通过优秀的工程实现高级研究
- 引入新技术、工具和架构，以提高模型推理栈的性能、延迟、吞吐量和效率
- 构建工具以洞察瓶颈和不稳定来源，然后设计并实施解决方案以解决最高优先级的问题
- 跨职能领导可靠性：在基础设施、ML平台和产品团队之间建立联盟，围绕共同的可靠性优先事项，管理利益相关者在事件和路线图权衡中的关系，并在规划中代表可靠性观点，使其在发布前影响决策
任职要求
- 具有大规模分布式或GPU服务系统的生产可靠性实践经验
- 熟悉InfiniBand/RDMA和Kubernetes控制器/CRD平台的故障排除
- 将GPU基础设施及其可靠性工具视为可工程化的软件
- 具备产品思维：关注on-call体验、告警清晰度和自动化修复中的判断力，并持续迭代
- 能够与机器学习研究人员、工程师和产品经理跨职能合作
- 具备引入新技术和架构以提高推理栈性能的能力
- 能够构建工具以提供瓶颈和不稳定来源的可见性
- 具备跨职能领导可靠性工作的能力，包括建立联盟和管理利益相关者