数据管线工程师
岗位摘要
设计数据管线，探索影响模型能力的高质量数据；优化的大规模Web爬虫的URL发现与调度系统；持续扩大数据覆盖面，建设多因子抓取优先级体系；主导反爬对抗和动态渲染方案，提升核心站点的抓取成功率
岗位职责
- 设计数据管线，探索影响模型能力的高质量数据
- 优化的大规模Web爬虫的URL发现与调度系统
- 持续扩大数据覆盖面，建设多因子抓取优先级体系
- 主导反爬对抗和动态渲染方案，提升核心站点的抓取成功率
- 建立数据质量评估闭环，从域名到页面的多层级质量管控
- 优化大规模数据处理管线的性能和稳定性
任职要求
- 具备大规模搜索引擎或Web爬虫系统实战经验，有百亿级以上URL池全链路经验
- 深入理解全网URL发现的多种手段
- 熟悉主流反爬机制及对抗方案
- 具备扎实的分布式数据处理能力，熟悉Spark或Flink等框架
- 有大模型预训练语料采集和清洗经验者优先
工作地址
北京海淀区京东科技大厦13F