Helix AI 预训练工程师
岗位摘要
跨多模态数据（如文本、视觉和机器人数据）设计并训练大规模基础模型；开发预训练策略，提升泛化、推理能力，并迁移到下游具身任务；探索并实现基于 Transformer 及其他新兴基础模型范式的架构
岗位职责
- 跨多模态数据（如文本、视觉和机器人数据）设计并训练大规模基础模型
- 开发预训练策略，提升泛化、推理能力，并迁移到下游具身任务
- 探索并实现基于 Transformer 及其他新兴基础模型范式的架构
- 研究前沿模型的缩放定律、数据集混合设计与训练动态
- 构建并优化跨多节点 GPU 集群的大规模分布式训练流水线
- 与视频、生成、智能体和机器人学习团队紧密合作，将预训练模型集成到自主系统中
- 设计评估框架，衡量推理能力、鲁棒性和跨域泛化能力
- 参与后训练方法，包括微调、对齐和模型适配
任职要求
- 具有训练大规模基础模型或从事 LLM 或多模态系统预训练的经验
- 深入理解现代深度学习架构，尤其是 Transformer
- 具备大规模分布式训练与优化经验
- 熟练掌握 Python 以及 PyTorch 等深度学习框架
- 具备严谨的实验能力，能迭代优化模型设计与训练策略
- 扎实的软件工程能力，能够构建可扩展、可靠的系统
- 能够独立工作，推动模糊但高影响力的技术问题
- 优先考虑在 Anthropic、OpenAI、Google DeepMind 或 xAI 等公司从事前沿基础模型工作的经验
- 优先考虑具备多模态预训练（视觉-语言或视觉-语言-动作模型）经验
- 优先考虑具备缩放定律、数据集策划和大规模数据混合优化背景
- 优先考虑熟悉 RLHF、奖励建模或对齐方法等后训练技术
- 优先考虑熟悉具身 AI、机器人或真实世界部署约束
- 优先考虑在机器学习、自然语言处理或多模态 AI 领域有发表记录
福利待遇
- 美国该全职岗位基本年薪范围为 20 万至 40 万美元
- 薪资可能根据岗位相关知识、技能和经验等个人因素有所变化
- 总薪酬方案可能包含额外组成部分或福利，具体视岗位而定
- 若发出录用通知，将分享详细信息