Helix AI 训练性能工程师
岗位摘要
优化千亿级以上参数模型在10万+GPU上的训练性能；与团队协作进行加速器选择、集群拓扑、调度和硬件采购决策，为未来扩展提供依据；编写并优化自定义内核（Triton/CUDA）；构建用于持续性能监控、回归检测和训练任务根因分析的工具与仪表盘
岗位职责
- 优化千亿级以上参数模型在10万+GPU上的训练性能
- 与团队协作进行加速器选择、集群拓扑、调度和硬件采购决策，为未来扩展提供依据
- 编写并优化自定义内核（Triton/CUDA）
- 构建用于持续性能监控、回归检测和训练任务根因分析的工具与仪表盘
- 优化数据加载和预处理流水线，确保I/O不会成为加速器瓶颈
- 改进检查点、容错和弹性重启，使大规模任务在节点故障后快速恢复，避免显著损失实际训练时间
- 与研究人员合作，协同设计在大规模下高性能的模型架构和训练配方（如激活检查点策略、混合精度、序列打包）
- 扩展并贡献内核编译器（如Triton、Gluon），提高迭代速度并支持自定义/非NVIDIA加速器
- 构建并扩展能够自动生成、基准测试和迭代自定义内核的智能体系统
- 评估新兴加速器架构（AMD、TPU、基于SRAM的ASIC及其他新型硬件）与训练工作负载的适配性，并主导概念验证移植/基准测试
- 探索不同的模型/数据并行方式（FSDP、上下文并行、专家并行等），为每种模型规模确定最优配置
任职要求
- 计算机科学、计算机/电气工程或相关领域的学士或硕士学位
- 3年以上AI性能工程经验，其中大量时间主导大规模性能改进项目
- 深入理解GPU架构和性能特征（内存带宽、计算受限与内存受限操作、占用率）
- 熟练使用分析工具（Nsight Systems/Compute、PyTorch Profiler、HTA或类似工具），并能将追踪结果转化为具体优化
- 扎实掌握集合通信（NCCL）和现代网络概念（RDMA、NVLink、InfiniBand/RoCE、拓扑感知放置）
- 强大的Python和CUDA/C++技能；能够阅读和修改框架内部实现
- 具备调试大规模性能退化和不稳定问题的经验（掉队者、挂起、OOM、数值发散）
- 具备定义和推理硬件效率指标（MFU/HFU）并用其驱动优化优先级的经验
- 加分项：有异构或多数据中心训练设置及跨集群编排经验
- 加分项：对开源机器学习系统项目（PyTorch、Megatron-LM、vLLM、DeepSpeed、JAX等）有贡献
- 加分项：接触过非NVIDIA加速器（AMD GPU、TPU/Trainium/Inferentia或自定义芯片）及异构集群管理
福利待遇
- 美国全职岗位基本年薪范围为20万至40万美元
- 具体薪资可能根据候选人经验、技能和地点等因素而变化