返回岗位列表

分布式爬虫系统开发工程师

查看原岗位

地点：北京薪资：薪资未公开日期：2026-01-29

岗位摘要

参与分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程；协助开发定向抓取流程，提升数据覆盖率，构建完善的专业领域的知识库；熟悉LLM、了解RAG全流程，参与搜索内容理解、召回、排序算法开发，提升RAG系统效果

岗位职责

参与分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程
协助开发定向抓取流程，提升数据覆盖率，构建完善的专业领域的知识库
熟悉LLM、了解RAG全流程，参与搜索内容理解、召回、排序算法开发，提升RAG系统效果
参与数据的清洗、处理、分析，提升从抓取到模型全链路数据的稳定性和时效性

任职要求

本科及以上学历，2年以上爬虫或大数据处理相关工作经验
熟悉http/tcp等网络协议，熟悉主流盘虫技术，熟练使用相关工具如fiddler、scrapy
熟悉大数据生态，熟练使用Hadoop、Spark、hive、hbase等开源框架，具备海量数据处理能力
熟悉Python/Java/Go其中一种语言，具备扎实的编码能力
熟悉爬虫对抗技术，了解Android程序apk解包/逆向，有apk/小程序抓取经验者优先
熟悉PyTorch/TensorFlow等深度学习框架，具备深度学习、机器学习、自然语言处理等领域的基础知识者优先
熟悉大数据框架底层原理，能够独立定位和优化数据处理瓶颈，具备一定大数据组件自运维能力者优先