高级爬虫工程师
岗位摘要
从抖音、小红书、快手、Instagram、Twitter等社交媒体平台采集数据，使用SoRpc、JsRpc、Frida等技术支持开发高效爬虫；设计和实施高级爬虫策略，应对复杂反爬机制，包括脱壳、算法还原、逆向工程、反编译等技术，定期更新和维护爬虫程序
岗位职责
- 从抖音、小红书、快手、Instagram、Twitter等社交媒体平台采集数据，使用SoRpc、JsRpc、Frida等技术支持开发高效爬虫
- 设计和实施高级爬虫策略，应对复杂反爬机制，包括脱壳、算法还原、逆向工程、反编译等技术，定期更新和维护爬虫程序
- 使用Scrapy、Redis、RabbitMQ等工具开发和维护数据采集平台，确保数据采集过程的高效性和自动化
任职要求
- 具备3-5年爬虫开发经验，熟悉主流社交媒体平台的数据采集
- 熟练掌握RPC、逆向工程、脱壳、算法还原等反爬应对技术
- 熟悉Scrapy、Redis、RabbitMQ等工具，具备平台开发与维护能力
工作地址
北京朝阳区世茂大厦B座(正门)12层