预训练数据工程师-数据采集pipeline方向
岗位摘要
根据数据清洗反馈信号，设计并开发全网数据选取与调度系统，包括链接质量预估、属性聚合、站点抓取配额、数据优先级等；保证数据多样性并最大化数据覆盖，为模型训练提供丰富的世界知识；面向RAG等时效场景，负责时效性种子挖掘、调度与有效性验证，保障关键信息的新鲜度
岗位职责
- 根据数据清洗反馈信号，设计并开发全网数据选取与调度系统，包括链接质量预估、属性聚合、站点抓取配额、数据优先级等
- 保证数据多样性并最大化数据覆盖，为模型训练提供丰富的世界知识
- 面向RAG等时效场景，负责时效性种子挖掘、调度与有效性验证，保障关键信息的新鲜度
- 负责全网数据采集环路的设计与开发，包括但不限于下载、任务调度、流式数据处理、DNS、连通性等核心组件
- 构建高吞吐的数据采集系统
任职要求
- 本科及以上学历
- 1-3年相关工作经验
- 熟悉数据采集、任务调度、流式数据处理、DNS、连通性等核心组件
- 具备全网数据选取、调度、链接质量预估、属性聚合、站点抓取配额、数据优先级等策略设计能力
- 熟悉RAG等时效场景，能够进行时效性种子挖掘、调度与有效性验证
- 工作地点为北京
工作地址
北京海淀区融科资讯中心融科大楼