大数据平台SRE工程师
岗位摘要
负责训练数据管线(采集、传输、调度、计算、服务全链路)的SLA体系建设与故障自愈能力建设,保障核心业务数据7×24小时稳定产出;主导设计并落地全链路可观测性体系,覆盖任务状态追踪、数据积压/延迟告警、血缘影响面分析与异常自动定位,使黑盒系统可观测、可诊断
岗位职责
- 负责训练数据管线(采集、传输、调度、计算、服务全链路)的SLA体系建设与故障自愈能力建设,保障核心业务数据7×24小时稳定产出
- 主导设计并落地全链路可观测性体系,覆盖任务状态追踪、数据积压/延迟告警、血缘影响面分析与异常自动定位,使黑盒系统可观测、可诊断
- 主导线上故障应急响应与Postmortem复盘,深入代码级定位问题(Java/Go服务),并与研发团队共同制定修复及预防措施
- 基于Python/Go开发部署、扩缩容、配置下发、巡检、故障自愈等自动化工具,推动重复性运维工作平台化,降低人力运维成本
- 负责数据管线的容量规划、限流降级、资源隔离与资源利用率优化,应对业务增长带来的数据洪峰,治理长尾任务
- 参与Sandbox/推理集群的基础运维与训练任务保障,支撑模型训练数据链路的稳定性
任职要求
- 本科及以上学历,计算机相关专业,具备3年以上平台运维/SRE/基础架构相关工作经验
- 计算机基本功扎实,深入理解Linux、网络(TCP/IP)、存储及分布式系统原理
- 熟练掌握Python/Go/Java中至少一门编程语言,具备代码级问题定位能力,如阅读服务源码、分析线程栈与GC日志等
- 熟悉数据系统的基本范式,包括消息队列、批/流处理、任务调度、数据一致性,具备大规模数据链路的实际运维经验
- 【加分项】主导过监控/可观测性体系从0到1的建设,有数据血缘或影响面分析经验
- 【加分项】有AI Infra相关经验,包括GPU集群、训练/推理任务保障
- 【加分项】有大规模容量规划或成本优化的实践经验
加分项
- 主导过监控/可观测性体系从 0 到 1 的建设,有数据血缘或影响面分析经验
- 有 AI Infra 相关经验(GPU 集群、训练/推理任务保障)
- 有大规模容量规划或成本优化实践