数据采集开发工程师

查看原岗位

地点：北京薪资：35-60K 日期：2026-05-22

岗位摘要

参与数据团队数据采集平台架构设计和开发工作；负责设计和开发分布式网络爬虫系统、技术选型；持续对系统进行架构改造和优化，提升系统的稳定性与可扩展性，保障系统稳定、高效、安全；负责多平台信息（视频、音频、图片、文章等）爬取

本科及以上学历，计算机相关专业，3年及以上网络爬虫相关、采集平台、RPA相关开发经验
熟练掌握Python编程语言及常用采集框架，深入了解框架提供的特性及其实现原理细节，精通Web端逆向，能独立处理常见的人机验证等风控技术
研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、混淆加密，页面跳转等难点攻克，提升网页抓取的效率和质量
熟悉风控逆向相关技术、国内外验证码破解等；熟悉TLS指纹、逆向、混淆、JS补环境等技术，以及各类加密算法（如AES、RSA、Base64、MD5、SHA系列等）
具有良好的沟通能力、学习能力、分析解决问题能力，有较强的责任心、自驱力
有长期规模化采集系统建设经验或有国外人机验证码、CloudFlare等破解经验者优先

北京海淀区大恒科技大厦12F