数据集基础设施工程师
岗位摘要
设计和维护标准化的数据集API，包括无法装入内存的多模态（MM）数据；构建用于GPU规模数据集加载的主动测试和规模验证管道；与团队成员协作，将数据集无缝集成到训练和推理管道中，确保顺利采用和良好的用户体验
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口，并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 设计和维护标准化的数据集API，包括无法装入内存的多模态（MM）数据
- 构建用于GPU规模数据集加载的主动测试和规模验证管道
- 与团队成员协作，将数据集无缝集成到训练和推理管道中，确保顺利采用和良好的用户体验
- 记录和维护数据集接口，使其易于发现、一致且易于其他团队采用
- 建立保障和验证系统，确保数据集在标准化后保持可重现性和不变性
- 调试和解决分布式数据集加载中的性能瓶颈（例如，拖慢全局训练的落后系统）
- 提供可视化和检查工具，以揭示数据集中的错误、缺陷或瓶颈
任职要求
- 拥有扎实的工程基础，在分布式系统、数据管道或基础设施方面有经验
- 有构建API、模块化代码和可扩展抽象的经验，同时认识到抽象最终服务于用户，用户体验是抽象设计的重要组成部分
- 能够轻松调试跨大型机器集群的瓶颈
- 以构建“开箱即用”的基础设施为荣，并乐于成为可靠性和规模的守护者
- 具有协作精神、谦逊态度，并对拥有ML栈中基础（即使不华丽）的部分感到兴奋
- （加分项）具备数据数学、概率论或分布式数据理论的背景知识
- （加分项）有GPU规模分布式系统或实时数据数据集扩展的工作经验
登录后查看完整岗位详情
使用邮箱验证码登录后，可查看完整职责、任职要求、原岗位入口，并继续使用收藏和浏览记录。列表摘要保持公开，完整详情用于保护数据质量和降低恶意抓取。