云原生可观测系统研发工程师
岗位摘要
建设统一的AI可观测平台，包括指标、日志、Trace、事件的采集、处理、存储、查询与可视化能力；建立作业、请求、Agent任务与节点、GPU、Pod、进程、Rank、模型、版本之间的关联
岗位职责
- 建设统一的AI可观测平台，包括指标、日志、Trace、事件的采集、处理、存储、查询与可视化能力
- 建立作业、请求、Agent任务与节点、GPU、Pod、进程、Rank、模型、版本之间的关联
- 治理高基数、高频事件和大规模时序数据，探索异常检测、告警降噪与根因分析能力
- 支撑大模型训练可观测，建设覆盖基础设施、通信与运行时、训练框架、模型与数据的分层观测体系
- 关联job→pod/process→rank→node→GPU UUID，诊断训练Hang、慢Rank、硬件、网络、存储和Checkpoint异常
- 量化训练进度、有效算力及重试、等待损耗，推动问题处置和效果验证闭环
- 支撑大模型推理可观测，建设覆盖网关、路由、批处理、推理引擎、模型实例和GPU的请求级观测
- 观测TTFT、TPOT、排队、吞吐、KV Cache、Token等指标，定位Prefill、Decode、调度与资源争用问题
- 关联模型版本、参数、上下文、输出质量和成本，支持性能与质量回归分析
- 支撑Agent运行时可观测，建设Agent任务到模型、工具、子Agent、记忆和知识库访问的完整执行轨迹
- 支持顺序、并行、循环和分支结构，量化任务成功率、工具成功率、重试及Token成本
- 结合规则、模型评估、人工反馈和业务结果，诊断依赖故障、工作流异常及质量回归
任职要求
- 计算机或相关专业本科及以上学历，或具备同等工程能力
- 具备3年以上可观测、基础架构、分布式系统、云原生平台或后端平台研发经验；资深候选人需有大型生产系统的设计与落地经历
- 熟练掌握Go、Java、C++、Rust、Python中至少一门语言，具备扎实的并发编程和系统设计能力
- 熟悉Metrics、Logs、Traces、Events中至少两类数据的完整工程链路
- 熟悉Linux、网络、容器、Kubernetes和分布式系统，能够开展跨层问题分析
- 具备良好的抽象、落地和协作能力，愿意深入理解AI工作负载
- 加分项：有Prometheus/Mimir、VictoriaMetrics、Thanos、OpenTelemetry、Jaeger/Tempo、Loki/ELK、ClickHouse、Grafana等系统经验
- 加分项：有GPU、RDMA、NCCL、分布式训练、Checkpoint或训练稳定性经验
- 加分项：有vLLM、TensorRT-LLM、SGLang、TGI、模型网关或容量管理经验
- 加分项：有Agent Runtime、工作流引擎、LLM Trace或评测平台经验
- 加分项：有eBPF、AIOps、开源贡献或从0到1建设平台的经验
加分项
- 有 Prometheus/Mimir、VictoriaMetrics、Thanos、OpenTelemetry、Jaeger/Tempo、Loki/ELK、ClickHouse、Grafana 等系统经验
- 有 GPU、RDMA、NCCL、分布式训练、Checkpoint 或训练稳定性经验
- 有 vLLM、TensorRT
- LLM、SGLang、TGI、模型网关或容量管理经验
- 有 Agent Runtime、工作流引擎、LLM Trace 或评测平台经验
- 有 eBPF、AIOps、开源贡献或从 0 到 1 建设平台的经验
- 李明基 今日活跃
福利待遇
- 薪资范围30-60K，16薪
工作地址
上海徐汇区新研大厦11层