返回岗位列表

数据平台工程师

查看原岗位

地点：美国薪资：薪资未公开日期：2026-01-30

岗位摘要

设计和运营大规模批处理和流式数据管道，支持产品功能、AI训练/评估、分析和实验；构建和发展事件驱动和流式系统（如Kafka/Kinesis/PubSub风格的架构），用于实时数据摄取、转换和交付

岗位职责

设计和运营大规模批处理和流式数据管道，支持产品功能、AI训练/评估、分析和实验
构建和发展事件驱动和流式系统（如Kafka/Kinesis/PubSub风格的架构），用于实时数据摄取、转换和交付
拥有批处理框架，用于回填、聚合和离线计算
领导数据编排系统（如Airflow、Dagster或等效系统）的设计和运营，包括调度、依赖管理、重试、SLAs和可观测性
建立数据正确性、新鲜度、血统和可恢复性的强有力保证
设计处理规模、部分故障和演化模式的系统
构建自助数据平台，赋能工程师、数据科学家和分析师安全创建和运营管道
通过更好的抽象、工具、文档和铺平路径，改善数据工作的开发者体验
为数据建模、测试、验证和部署设定标准
推动数据基础设施在存储、计算、编排和API方面的架构决策
与工程和数据科学团队紧密合作，使数据系统与不断变化的需求保持一致
指导工程师，审查设计，并提高整个组织的技术标准

任职要求

5年以上（高级）或8年以上（资深）软件工程经验
丰富的生产数据基础设施系统构建经验
具备大规模批处理和/或流式数据处理的实际经验
对数据编排系统（Airflow、Dagster或类似系统）有深入了解
精通Python和至少一种后端语言（Go、TypeScript等）
强大的系统思维：理解可靠性、延迟、成本和复杂性之间的权衡
支持ML/AI工作流、训练管道或评估系统的经验
熟悉数据质量、血统、可观测性和治理工具
曾拥有被多个团队使用的内部平台的所有权