大模型数据基础设施实习生
岗位摘要
基于Spark、Ray、Hive等分布式框架开发PB级多模态数据Pipeline；构建训练数据存储、索引、检索、去重、Embedding等基础设施；开发数据质量分析、可观测性和自动化工具，优化海量数据处理性能、资源利用率和稳定性
岗位职责
- 基于Spark、Ray、Hive等分布式框架开发PB级多模态数据Pipeline
- 构建训练数据存储、索引、检索、去重、Embedding等基础设施
- 开发数据质量分析、可观测性和自动化工具，优化海量数据处理性能、资源利用率和稳定性
任职要求
- 熟练使用Python，熟悉Linux开发环境
- 熟悉Spark、Ray、Hive、Flink等至少一种分布式计算框架
- 有TB级以上数据处理经验优先
- 线下办公，每周到岗4天，连续实习3个月以上
- 计算机相关专业或数学/统计相关专业
- 有数据开发经验，包括数据平台开发、数据仓库开发等
福利待遇
- 实习薪资500-1000元/天
工作地址
北京海淀区大恒科技大厦12F