数据采集工程师（视频／多模态／爬虫方向）
岗位摘要
探索和接入新数据源，根据训练需求调研视频平台、专业素材库、创作者及制作机构等来源，评估内容覆盖、原始画质、可获取性、更新频率和采集成本，完成小规模验证与批量接入；开发和维护采集程序，通过API、批量数据接口、网页解析及浏览器自动化采集目录、视频和相关元数据，沉淀可复用的来源适配器，支持搜索、分页、…
岗位职责
- 探索和接入新数据源，根据训练需求调研视频平台、专业素材库、创作者及制作机构等来源，评估内容覆盖、原始画质、可获取性、更新频率和采集成本，完成小规模验证与批量接入
- 开发和维护采集程序，通过API、批量数据接口、网页解析及浏览器自动化采集目录、视频和相关元数据，沉淀可复用的来源适配器，支持搜索、分页、合集和增量更新
- 保障批量采集的稳定性，实现并发调度、限速、失败重试、断点续传、任务去重和异常恢复，监控来源变化、下载失败及字段缺失，持续优化吞吐和带宽、存储成本
- 完成视频入库验收，采集并校验分辨率、帧率、编码、码率、时长和文件完整性，识别预览版、降质转码、截断文件、广告及水印等问题，与数据团队建立自动检查和抽样复核流程
- 支持作品关联和版本更新，整理作品、季集、来源及文件版本信息，与内部库存建立关联，支持缺片／缺集补采、更高质量版本发现和重复内容控制，保留来源与更新记录
- 对接训练数据流水线，将采集结果接入现有对象存储、数据库和数据管理平台，与切分、去重、质量筛选及标注流程衔接，跟踪新增内容覆盖、验收通过率和去重后有效视频时长
- 按项目确定的授权和使用范围开展采集，维护来源、许可及采集依据等记录
任职要求
- 具有3年及以上爬虫、数据采集或数据工程经验，能够独立完成一个数据源从调研、开发到上线维护的完整过程；项目经验突出的候选人可适当放宽
- 熟练使用Python，掌握异步编程、并发控制及常用网络请求工具，熟悉Scrapy、Playwright、Selenium等框架中的一种或多种
- 熟悉HTTP／HTTPS、Cookie、会话和鉴权机制，具备浏览器开发者工具、接口分析和JavaScript调试能力，能够定位动态页面、限流、会话失效及站点改版问题
- 有视频或其他大文件采集经验，熟悉FFmpeg／ffprobe，理解常见容器、编码、分辨率、帧率和码率，能够处理分段下载、音视频合并及媒体完整性检查
- 熟悉Linux、Git、Docker、SQL及对象存储，具备任务队列、调度、日志监控和失败恢复的实践经验，能够维护长期运行的采集任务
- 具备数据质量意识，能够处理重复记录、缺失字段、错误关联和来源变化；能清楚说明项目的数据规模、成功率、质量问题及优化结果
- 加分项：有视频生成、多模态模型训练数据，或影视、纪录片、广告、专业素材采集经验
- 加分项：有跨来源作品匹配、剧集解析、视频去重、版本比较或画质检测经验
- 加分项：熟悉Go、分布式采集及大规模数据处理，或有相关开源项目贡献
- 加分项：能阅读英文技术文档，独立调研和接入海外数据源
加分项
- a）有视频生成、多模态模型训练数据，或影视、纪录片、广告、专业素材采集经验
- b）有跨来源作品匹配、剧集解析、视频去重、版本比较或画质检测经验
- c）熟悉 Go、分布式采集及大规模数据处理，或有相关开源项目贡献
- d）能阅读英文技术文档，独立调研和接入海外数据源