多模态数据管线平台开发工程师
岗位摘要
负责多模态数据管线平台的设计、开发与运维,支持文本、图像、音频、视频等非结构化数据的采集、处理、存储与计算;在数据管线平台上进行计算任务的深度优化,包括性能、资源利用率、稳定性与成本优化
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 负责多模态数据管线平台的设计、开发与运维,支持文本、图像、音频、视频等非结构化数据的采集、处理、存储与计算
- 在数据管线平台上进行计算任务的深度优化,包括性能、资源利用率、稳定性与成本优化
- 构建和维护分布式数据处理任务与基础设施,支撑大规模多模态数据的高吞吐与可扩展处理
- 与算法、模型和应用团队紧密协作,支撑大模型训练、微调及RAG等应用场景的数据需求
- 持续提升平台的工程化能力,包括自动化、可维护性与可观测性
任职要求
- 具备扎实的Python编程能力,熟悉高级特性并具备良好的工程化实践经验
- 具备深度学习与大模型基础认知,熟悉PyTorch,并理解Transformer架构及其训练与推理流程
- 熟悉分布式数据处理思想与实践,有使用Spark、Daft等分布式计算框架的经验
- 具备多模态或非结构化数据处理经验,包括但不限于文本、图像、音频、视频等数据类型
- 具备数据治理或数据管线平台的设计与开发经验,理解数据建模、任务编排、元数据管理与数据质量等关键问题
- 熟悉Docker与Kubernetes的部署与运维(加分项)
- 有大模型应用开发经验,如LangChain、RAG、Agent等相关工程实践(加分项)
- 了解或实践过湖仓一体(Lakehouse)架构,如Lance、Hudi、Iceberg等(加分项)
- 有Vibe Coding或AI辅助编程经验,如Cursor、Copilot等工具的实际使用(加分项)
加分项
- 熟悉 Docker 与 Kubernetes 的部署与运维
- 有大模型应用开发经验,如 LangChain、RAG、Agent 等相关工程实践
- 了解或实践过湖仓一体(Lakehouse)架构,如 Lance、Hudi、Iceberg 等
- 有 Vibe Coding 或 AI 辅助编程经验,如 Cursor、Copilot 等工具的实际使用
- 谭女士 刚刚活跃
工作地址
北京海淀区科建大厦6层
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。