AI数据基础设施工程师
岗位摘要
基于Spark、Ray搭建大模型数据处理基础设施，负责集群管理、任务调度、资源隔离和性能分析，并迭代面向非结构化与多模态数据的处理能力；基于Paimon、Iceberg、Lance建设数据湖与Catalog Service，负责结构化、非结构化与多模态数据的存储与管理
岗位职责
- 基于Spark、Ray搭建大模型数据处理基础设施，负责集群管理、任务调度、资源隔离和性能分析，并迭代面向非结构化与多模态数据的处理能力
- 基于Paimon、Iceberg、Lance建设数据湖与Catalog Service，负责结构化、非结构化与多模态数据的存储与管理
- 面向数据生产与算法团队，建设计算与数据湖链路的监控、日志、追踪与告警，联合K8s、SRE定位性能、稳定性与容量问题，并优化资源利用率与成本
任职要求
- 编程基础扎实，熟练使用Python、Java或Scala中至少一种，能够开发平台组件、数据引擎和运维工具
- 熟悉Linux、容器和分布式系统，理解计算、存储、调度、资源隔离和故障恢复的基本原理
- 有大规模数据处理或云原生平台经验，能够开发、部署、调试和维护长时间运行的生产任务
- 问题定位能力强，能结合指标、日志、链路和运行现场分析性能、稳定性与容量问题
- 具备工程权衡意识，能在可靠性、性能、成本、可维护性之间做清晰取舍；能与平台、算法和基础设施团队协作推进跨系统问题
- 有Vibe Coding经验，能借助AI提升交付效率、完成更大范围的工作
- 在以下方向中至少有一个深入实践，其余方向具备相应基础：Spark或Ray的平台建设、任务调度或性能分析；数据湖引擎（Paimon、Iceberg、Lance）或对象存储上的大规模数据组织与元数据服务
- 加分项：实际搭建过大模型数据管线，并有数据交付给算法团队的经验，包括文本数据（多轮对话、推理、指令数据）、Agent数据（function calling、tool use、工具调用与执行轨迹）、生产手段（badcase挖掘、LLM-as-Judge、自动化标注、数据合成pipeline、轨迹trace分析）、多模态数据（视频解码、抽帧、均匀采样、重采样到固定帧数、视觉编码器、文本token联合输入、Caption生成）
- 加分项：做过倒排检索引擎、向量检索引擎或混合检索
- 加分项：参与过数据基础设施从原型到规模化生产的过程，有容量规划或成本优化经验
加分项
- 实际搭建过大模型数据管线，并有数据交付给算法团队的经验
- 文本数据：多轮对话、推理、指令数据
- Agent 数据：function calling、tool use、工具调用与执行轨迹
- 生产手段：badcase 挖掘、LLM
- Judge、自动化标注、数据合成 pipeline、轨迹 trace 分析
- 多模态数据：视频解码、抽帧、均匀采样、重采样到固定帧数、视觉编码器、文本 token 联合输入、Caption 生成
- 做过倒排检索引擎、向量检索引擎或混合检索
- 参与过数据基础设施从原型到规模化生产的过程，有容量规划或成本优化经验
工作地址
北京海淀区蓟门壹号8楼