大数据开发工程师/数据仓库工程师
岗位摘要
参与设计并持续优化离线与实时相结合的数据仓库分层架构(如ODS、DWD、DWS、ADS);负责核心业务主题域的数据模型设计、开发与维护,保障数据的一致性、准确性和完整性;编写高效、稳定的ETL/ELT数据处理流程及调度脚本,负责日常运维与性能优化
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 参与设计并持续优化离线与实时相结合的数据仓库分层架构(如ODS、DWD、DWS、ADS)
- 负责核心业务主题域的数据模型设计、开发与维护,保障数据的一致性、准确性和完整性
- 编写高效、稳定的ETL/ELT数据处理流程及调度脚本,负责日常运维与性能优化
- 利用Flink、Spark Streaming、Kafka等技术,设计并开发实时数据摄取、清洗和汇总管道
- 维护实时数据链路稳定性,监控延迟与质量,确保关键业务指标的即时可用性
- 与业务团队紧密协作,理解数据分析与报表需求,在BI工具中构建数据集、开发可视化报表与仪表板
- 与数据开发、数据分析、算法及产品团队高效协作,推动数据项目落地,将复杂业务需求转化为技术方案
任职要求
- 计算机、数学、统计学或相关专业本科及以上学历
- 3-5年大数据领域或数据仓库相关工作经验
- 深入理解数据仓库建模理论(维度建模),有海量数据ETL开发经验
- 熟练掌握Hive、Spark SQL、Flink并有性能调优经验
- 具备实际流式计算项目经验,熟悉Flink、Spark Streaming、Kafka中至少一种主流技术及其原理与调优
- 有使用Quick BI、Tableau、Power BI等主流BI工具进行数据分析和报表开发的经验
- 熟悉DolphinScheduler、Airflow、DataWorks等常用调度工具
- 熟练掌握Java、Scala或Python中的至少一种编程语言
- 优秀的逻辑思维能力、问题分析与解决能力,对数据有强烈的敏感度和责任心
- 拥有社交、AI Agent等业务知识者优先
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。