高级数据研发工程师（数据平台 / 数据质量）
岗位摘要
参与AI数据平台的数据接入、解析、加工和质量能力建设，支持结构化、半结构化及多模态数据；负责JSONL、Parquet、图片元数据等数据格式的解析、标准化及大文件流式处理；建设可配置的数据校验、质量规则、模型检查和人工抽样能力，提升质量结果的可解释性与可复现性
岗位职责
- 参与AI数据平台的数据接入、解析、加工和质量能力建设，支持结构化、半结构化及多模态数据
- 负责JSONL、Parquet、图片元数据等数据格式的解析、标准化及大文件流式处理
- 建设可配置的数据校验、质量规则、模型检查和人工抽样能力，提升质量结果的可解释性与可复现性
- 负责多来源数据的身份映射、一致性校验、异常定位和数据问题闭环
- 建设数据标签、质量指标、统计聚合和检索所需的数据处理链路
- 支持图片、文本、Caption、Tag等多模态数据接入，与对象存储及外部数据系统协同
- 建立真实及异常数据样例、自动化测试和性能基线，持续提升处理效率及稳定性
任职要求
- 计算机、软件工程、数据科学等相关专业统招本科及以上学历，或具备同等水平的工程实践能力
- 3年以上数据研发、数据平台或后端研发经验
- 熟练掌握Go、Python中至少一种语言，能够使用Go开发生产级数据处理服务
- 熟悉JSON、JSONL、Parquet等常见数据格式及大文件流式处理方式
- 熟悉SQL和关系型数据库，具备数据建模、问题排查和性能优化能力
- 理解数据质量、数据抽样、幂等处理、一致性校验及数据可追溯等基本概念
- 具备较强的数据敏感度，能够将复杂数据问题沉淀为规则、样例和自动化检查
- 具备良好的工程规范、责任心和跨团队协作能力
- 加分项：有大模型、Agent、图片、多模态或训练数据处理经验
- 加分项：有数据质量平台、数据标注、模型质检或人工抽检系统经验
- 加分项：熟悉版本化数据交付、对象存储或大规模数据处理流程
- 加分项：熟悉内容Hash、数据去重、Manifest或大规模数据一致性校验
- 加分项：了解Embedding、图片Caption/Tag、向量检索或检索效果评估
加分项
- 有大模型、Agent、图片、多模态或训练数据处理经验
- 有数据质量平台、数据标注、模型质检或人工抽检系统经验
- 熟悉版本化数据交付、对象存储或大规模数据处理流程
- 熟悉内容 Hash、数据去重、Manifest 或大规模数据一致性校验
- 了解 Embedding、图片 Caption/Tag、向量检索或检索效果评估