全栈开发工程师-数据Infra方向
岗位摘要
负责广度数据采集系统的整体质量策略设计与优化，包括数据选取、质量评估、规模控制等；开发特定策略模块（如无效参数挖掘、站群挖掘等），提升系统数据有效性；开发并持续优化采集各组件性能，如下载、流式数据处理、并发控制模块等
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口，并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 负责广度数据采集系统的整体质量策略设计与优化，包括数据选取、质量评估、规模控制等
- 开发特定策略模块（如无效参数挖掘、站群挖掘等），提升系统数据有效性
- 开发并持续优化采集各组件性能，如下载、流式数据处理、并发控制模块等
- 主导数据清洗、大规模网页库构建、索引库构建等流程
- 研发并落地数据质量算法（如分类算法、消重算法等），为搜索、多模态与大模型训练提供高质量数据支持
- 负责数据Pipeline与底层基建（如分布式KV、存储、数据湖等）的对接、性能调优与模块封装
- 开发相应的监控与管理工具
任职要求
- 具备全栈研发能力，能够从前端到后端独立完成模块开发
- 有一定的数学基础，能够理解和应用策略中的统计与逻辑模型
- 有爬虫系统、数据策略或搜索等相关领域经验者优先
- 有基于C++/Rust的大型系统研发经验优先
工作地址
北京海淀区融科资讯中心C座
登录后查看完整岗位详情
使用邮箱验证码登录后，可查看完整职责、任职要求、原岗位入口，并继续使用收藏和浏览记录。列表摘要保持公开，完整详情用于保护数据质量和降低恶意抓取。