大模型数据链路工程师
岗位摘要
与算法团队深度合作，推进数据清洗、样本生成等场景下多阶段复杂Pipeline的分布式引擎设计和落地；支撑大模型数据的清洗、分类、采样等场景，持续完善Ray/Spark内核功能及性能；通过云原生技术栈搭建多云多地域的混合计算底座，参与Ray/Spark在K8S上的弹性、潮汐资源集群稳定性、可观测性、…
岗位职责
- 与算法团队深度合作，推进数据清洗、样本生成等场景下多阶段复杂Pipeline的分布式引擎设计和落地
- 支撑大模型数据的清洗、分类、采样等场景，持续完善Ray/Spark内核功能及性能
- 通过云原生技术栈搭建多云多地域的混合计算底座，参与Ray/Spark在K8S上的弹性、潮汐资源集群稳定性、可观测性、平台化对接等能力建设
任职要求
- 具备扎实的Python、Java、Scala、C++、Go等高级语言编程功底
- 熟悉Ray内核或Ray相关框架应用
- 熟悉常见分布式计算框架，如Spark、Flink等
- 熟悉常见数据湖框架，如Delta、Iceberg、Hudi等
- 具备良好的团队沟通协作能力及优秀的项目驱动能力
- 有数据平台研发、机器学习相关背景、K8s研发经验者优先
福利待遇
- 提供35-65K·16薪薪资待遇
工作地址
上海徐汇区新漕河泾国际商务中心B座