高级数据基础设施工程师
岗位摘要
实现和维护可复用的库、模块和平台,用于大规模数据采集与处理;根据系统设计,构建基础设施组件,如代理服务、镜像管道、可靠调度器及中间件抽象层;确保采集管道及支撑系统在数百PB至ZB规模下的可靠性、可扩展性和效率
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 实现和维护可复用的库、模块和平台,用于大规模数据采集与处理
- 根据系统设计,构建基础设施组件,如代理服务、镜像管道、可靠调度器及中间件抽象层
- 确保采集管道及支撑系统在数百PB至ZB规模下的可靠性、可扩展性和效率
- 优化大规模数据工作流中的预处理、分片、缓存和调度机制
- 与系统架构师及跨职能团队协作,确保实现与整体系统设计保持一致
- 应用工程最佳实践,确保组件可维护、可测试、可扩展
- 为部署的系统提供监控、可观测性及容错机制
- 指导初级工程师,培养知识分享、主动解决问题和可复用基础设施开发文化
任职要求
- 精通任何现代系统编程语言(C/C++、Go、Rust或Haskell)
- 有设计可复用API与组件的经验,而不仅仅是一次性脚本式开发
- 扎实理解分布式系统概念,包括ACID属性及事务语义、一致性模型、事务机制及分布式事务成本与权衡、复制、分片、缓存和调度
- 熟悉数据库、文件系统及中间件(Postgres、Redis、对象存储等)
- 有构建基础设施服务经验,如代理框架、镜像系统、管道调度器
- 熟练掌握网络及协议(TCP/IP、HTTP、gRPC)
- 有大规模数据采集管道经验(数百PB至ZB规模)
- 熟悉Kubernetes及云原生基础设施
- 能够适应英文代码库和技术文档
- 具备解决问题能力、主动性及跨团队协作能力
- 能够利用AI辅助开发工具提升工程效率
- 参与过团队级数据平台或可复用基础设施库的开发经验(加分项)
- 熟悉监控和可观测性技术栈(Prometheus、Grafana、ELK等)(加分项)
- 具备存储引擎设计、代理框架或高性能文件系统经验(加分项)
- 熟悉分布式缓存优化及大规模工作流调度(加分项)
加分项
- 参与过 团队级数据平台或可复用基础设施库 的开发经验
- 熟悉 监控和可观测性技术栈(Prometheus、Grafana、ELK 等)
- 具备 存储引擎设计、代理框架或高性能文件系统 经验
- 熟悉 分布式缓存优化及大规模工作流调度
- 构建和维护 关键数据平台基础设施,处理 数百 PB 至 ZB 的数据
- 与 系统架构师及高级工程师 协作,在 高性能、创新的环境中工作
- 职业成长路径:晋升为 系统架构师或首席工程师,全面负责系统设计与平台战略
- 自由使用 AI 辅助开发工具,提升工程影响力
- 薛明畅 刚刚活跃
福利待遇
- 构建和维护关键数据平台基础设施,处理数百PB至ZB的数据
- 与系统架构师及高级工程师协作,在高性能、创新的环境中工作
- 职业成长路径:晋升为系统架构师或首席工程师,全面负责系统设计与平台战略
- 自由使用AI辅助开发工具,提升工程影响力
- 25-50K月薪,15薪
工作地址
北京海淀区科建大厦301
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。