中级爬虫工程师
岗位摘要
从抖音、小红书、快手、Instagram、Twitter、Facebook、TikTok等社交媒体平台采集数据,使用SoRpc、JsRpc、Frida、Sekiro等技术开发高效的数据爬虫程序
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 从抖音、小红书、快手、Instagram、Twitter、Facebook、TikTok等社交媒体平台采集数据,使用SoRpc、JsRpc、Frida、Sekiro等技术开发高效的数据爬虫程序
- 设计和实施高级爬虫策略,应对复杂反爬机制,包括脱壳、算法还原、逆向工程、反编译等技术,定期更新和维护爬虫程序以适应平台技术更新
- 使用Scrapy、Redis、RabbitMQ、WebPack等工具开发和维护数据采集平台,确保数据采集过程的高效性和自动化
任职要求
- 计算机科学、信息技术、自动化或相关领域本科及以上学历,3年以上爬虫开发经验,有社交媒体数据采集经验者优先
- 精通SoRpc、JsRpc、Frida、Sekiro等技术,熟练掌握Scrapy、Redis、RabbitMQ、WebPack等工具,精通脱壳、算法还原、逆向工程、反编译等核心技术
- 熟悉MySQL、MongoDB、Redis等数据库技术,具有处理反爬虫策略和绕过限制的实际经验
- 具备出色的分析和问题解决能力,良好的沟通能力和团队合作精神,对新技术保持持续学习和适应的态度
工作地址
北京朝阳区世茂大厦B座(正门)12层
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。