数据采集平台开发工程师
岗位摘要
参与数据团队数据采集平台架构设计和开发工作；负责设计和开发分布式网络爬虫系统、技术选型；持续对系统进行架构改造和优化，提升系统的稳定性与可扩展性，保障系统稳定，高效，安全；负责多平台信息（视频、音频、图片、文章等）爬取，包括APP端采集，agent相关数据采集等
岗位职责
- 参与数据团队数据采集平台架构设计和开发工作
- 负责设计和开发分布式网络爬虫系统、技术选型
- 持续对系统进行架构改造和优化，提升系统的稳定性与可扩展性，保障系统稳定，高效，安全
- 负责多平台信息（视频、音频、图片、文章等）爬取，包括APP端采集，agent相关数据采集等
任职要求
- 本科及以上学历，计算机相关专业
- 3年及以上网络爬虫相关、采集平台、rpa相关开发经验
- 熟练掌握Python编程语言及常用采集框架，深入了解框架提供的特性及其实现原理细节