数据采集开发工程师
岗位摘要
参与数据团队数据采集平台架构设计和开发工作；负责设计和开发分布式网络爬虫系统、技术选型；持续对系统进行架构改造和优化，提升系统的稳定性与可扩展性，保障系统稳定，高效，安全；负责多平台信息（视频、音频、图片、文章等）爬取，包括APP端采集，agent相关数据采集等
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口，并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 参与数据团队数据采集平台架构设计和开发工作
- 负责设计和开发分布式网络爬虫系统、技术选型
- 持续对系统进行架构改造和优化，提升系统的稳定性与可扩展性，保障系统稳定，高效，安全
- 负责多平台信息（视频、音频、图片、文章等）爬取，包括APP端采集，agent相关数据采集等
任职要求
- 本科及以上学历，计算机相关专业。3年及以上网络爬虫相关、采集平台、rpa相关开发经验
- 熟练掌握Python编程语言及常用采集框架，深入了解框架提供的特性及其实现原理细节
- 研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、混淆加密，页面跳转等难点攻克，提升网页抓取的效率和质量
- 熟悉风控逆向相关技术，国内外验证码破解等；熟悉如何TLS 指纹、逆向、混淆、JS补环境等技术，以及各类加密算法，譬如（AES、RSA、Base64，Md5、SHA 系列等）
- 具有良好的沟通能力、学习能力、分析解决问题能力，有较强的责任心、自驱力和成长型思维
- 有长期规模化采集系统建设经验优先；有国外人机验证码破解经验优先；有computer use/phone use等agent相关数据采集经验优先
登录后查看完整岗位详情
使用邮箱验证码登录后，可查看完整职责、任职要求、原岗位入口，并继续使用收藏和浏览记录。列表摘要保持公开，完整详情用于保护数据质量和降低恶意抓取。