高级爬虫工程师
岗位摘要
设计和实施高级爬虫策略,应对复杂的反爬机制,包括脱壳、算法还原、逆向工程、反编译等技术;定期更新和维护爬虫程序,适应社交媒体平台的技术更新;数据采集平台开发与维护,使用Scrapy, Redis, RabbitMQ, WebPack等工具开发和维护数据采集平台,确保数据采集过程的高效性和自动化
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 设计和实施高级爬虫策略,应对复杂的反爬机制,包括脱壳、算法还原、逆向工程、反编译等技术
- 定期更新和维护爬虫程序,适应社交媒体平台的技术更新
- 数据采集平台开发与维护,使用Scrapy, Redis, RabbitMQ, WebPack等工具开发和维护数据采集平台,确保数据采集过程的高效性和自动化
任职要求
- 计算机科学、信息技术、自动化或相关领域本科学历,3年以上爬虫开发经验,有社交媒体数据采集经验者优先
- 精通SoRpc, JsRpc, Frida, Sekiro等技术,熟练掌握Scrapy, Redis, RabbitMQ, WebPack等工具
- 精通脱壳、算法还原、逆向工程、反编译等技术,具有处理反爬虫策略和绕过限制的经验
工作地址
北京朝阳区引力传媒股份有限公司12层
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。