资深爬虫工程师
岗位摘要
从抖音、小红书、快手、Instagram、Twitter、Facebook、TikTok等社交媒体平台采集数据,使用SoRpc、JsRpc、Frida、Sekiro等技术开发高效数据爬虫程序
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 从抖音、小红书、快手、Instagram、Twitter、Facebook、TikTok等社交媒体平台采集数据,使用SoRpc、JsRpc、Frida、Sekiro等技术开发高效数据爬虫程序
- 设计和实施高级爬虫策略,应对复杂反爬机制,包括脱壳、算法还原、逆向工程、反编译等技术,定期更新和维护爬虫程序以适应平台技术更新
- 数据采集平台开发与维护,使用Scrapy、Redis、RabbitMQ、WebPack等工具确保数据采集过程的高效性和自动化
任职要求
- 计算机科学、信息技术、自动化或相关领域本科,3年以上爬虫开发经验,有社交媒体数据采集经验者优先
- 精通SoRpc、JsRpc、Frida、Sekiro等逆向技术,熟练掌握Scrapy、Redis、RabbitMQ、WebPack等工具,精通脱壳、算法还原、逆向工程、反编译等技术,具有处理反爬虫策略和绕过限制的经验,熟悉MySQL、MongoDB、Redis等数据库
- 出色的分析和问题解决能力,良好的沟通能力和团队合作精神,对新技术持续学习和适应
工作地址
北京朝阳区世茂大厦B座(正门)12层
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。