网络数据采集工程师
岗位摘要
遵循robots协议，对互联网公开信息进行采集；负责网页信息抽取技术算法的研究和开发，提升数据采集的效率和质量；负责设计和开发分布式的网络数据采集技术，独立解决实际开发过程中的各类问题（如优化调度、并发、覆盖率等），提升数据采集的效果与性能
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口，并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 遵循robots协议，对互联网公开信息进行采集
- 负责网页信息抽取技术算法的研究和开发，提升数据采集的效率和质量
- 负责设计和开发分布式的网络数据采集技术，独立解决实际开发过程中的各类问题（如优化调度、并发、覆盖率等），提升数据采集的效果与性能
- 负责数据采集解析入库、系统异常监控与警报等工作
任职要求
- 具备扎实的编程能力、优秀的设计能力和代码品味，具有强烈的责任心
- 熟练掌握HTML、JavaScript、Python、Scrapy等，能快速完成采集脚本的编写
- 了解主流网络数据采集技术和框架工具，如Selenium/Puppeteer/PhantomJS/Scrapy等
- 了解NLP基本技术，实际使用过如Fasttext、N-gram、Bert、GPT等算法和模型者优先
- 熟悉常见限制访问服务器资源和获取数据技术，具备相关的实战经验
登录后查看完整岗位详情
使用邮箱验证码登录后，可查看完整职责、任职要求、原岗位入口，并继续使用收藏和浏览记录。列表摘要保持公开，完整详情用于保护数据质量和降低恶意抓取。