分布式存储与HPC及AI基础设施首席工程师
岗位摘要
为Together AI设计和实施技术战略及存储路线图，推动高性能架构决策以扩展GPU集群；通过集成Vast、Weka和Ceph，设计并扩展多PB级AI/ML存储系统，并通过自动分层和生命周期策略执行深度成本优化
岗位职责
- 为Together AI设计和实施技术战略及存储路线图，推动高性能架构决策以扩展GPU集群
- 通过集成Vast、Weka和Ceph，设计并扩展多PB级AI/ML存储系统，并通过自动分层和生命周期策略执行深度成本优化
- 开发智能缓存和分层存储架构，为训练和推理工作负载实现GPU规模的极端IOPS和集群级吞吐量
- 在L2/L3网络层调优存储隔离，确保存储客户端的安全、生产级多租户
- 编写Kubernetes存储Operator和控制器，实现自动化配置、自助服务抽象和配额管理
- 设计端到端数据路径以实现每GPU节点10+ GB/s的性能；为模型权重和数据集设计多级缓存；使用高级性能分析调优并行文件系统；跨数千节点扩展存储基础设施
- 通过高级基准测试和性能分析优化端到端数据路径，为开源存储项目和内部工具贡献高影响力代码
任职要求
- 8年以上存储工程经验，管理多PB级分布式存储
- 具有为GPU/HPC集群部署和运营高性能存储的可靠记录
- 在生产环境中具有深厚的Kubernetes和云原生存储经验
- 精通Go和Python编程，具备构建生产级系统和工具的能力
- 计算机科学、工程学士/硕士学位或同等实践经验
- 具有技术领导经验：设计显著提升性能、可靠性（99.999%+正常运行时间）或成本效率的系统
- 分布式存储系统：在Ceph、WekaFS、Lustre、Vast、GPFS或类似并行文件系统方面具有多PB级规模的深厚专业知识
- 对象存储：具有S3、MinIO、Ceph或R2的生产经验，包括性能优化和成本管理
- Kubernetes存储：熟悉CSI驱动、StatefulSets、PersistentVolumes、存储Operator和自定义控制器
- 针对GPU工作负载的存储优化、RDMA/InfiniBand网络、并行文件系统优化（TB/s级聚合集群吞吐量-线路饱和）
- 编程：使用Go和Python进行自动化、Operator和工具开发
- 基础设施即代码：Terraform、Ansible、Helm、GitOps（ArgoCD）
- Linux存储栈：深入了解文件系统（ext4、xfs）、LVM、NVMe优化、RAID配置
- 可观测性：Prometheus、Grafana、Thanos架构和运维