技术主管经理 - 训练运行时，数据（集）移动
岗位摘要
为多个当前及未来训练框架设计并构建统一的数据集读取平台；定义数据集接口、存储格式期望、注册与版本管理以及迁移路径，使数据访问可复现且易于维护；在读取路径中构建可靠性，包括有状态迭代、缓存、快速重启、恢复和清晰的操作契约
岗位职责
- 为多个当前及未来训练框架设计并构建统一的数据集读取平台
- 定义数据集接口、存储格式期望、注册与版本管理以及迁移路径，使数据访问可复现且易于维护
- 在读取路径中构建可靠性，包括有状态迭代、缓存、快速重启、恢复和清晰的操作契约
- 构建终端和基于网页的可视化工具，让团队检查流水线后期的文本、多模态和强化学习数据，因为此时错误最明显
- 编写并审查核心数据加载、服务、缓存和可靠性路径中的生产代码
- 与训练框架、强化学习、多模态模型、存储、运行时和集群基础设施团队合作
任职要求
- 曾大规模构建或负责数据集、数据加载、存储或分布式训练基础设施（例如 torch.utils.data）
- 同等重视接口设计、调试体验、性能和比特级正确性
- 理解大规模分布式训练作业的故障模式，并了解数据系统如何导致或避免这些问题
- 具有有状态迭代器、检查点/重启语义、缓存、远程服务或高吞吐存储读取经验
- 熟悉 Python 和底层系统代码；有 Rust 或 C++ 经验更佳，但并非必需
- 处理过多模态、视频、强化学习或预训练数据管道，其中小型数据错误代价高昂且难以诊断
- 能够在团队建立前通过代码和技术判断力进行领导，并在之后管理工程师而不失去亲自动手的能力
- 关注开发者体验，消除手动预处理脚本和特定集群的小众错误等摩擦，确保研究人员获得可靠高效的体验