预训练扩展研究工程师 - 伦敦
岗位摘要
负责生产预训练流水线的关键环节，包括模型运营、性能优化、可观测性和可靠性；调试并解决全栈复杂问题，涵盖硬件错误、网络、训练动态和评估基础设施；设计并运行实验，以提高训练效率、减少步时、提升正常运行时间并增强模型性能
岗位职责
- 负责生产预训练流水线的关键环节，包括模型运营、性能优化、可观测性和可靠性
- 调试并解决全栈复杂问题，涵盖硬件错误、网络、训练动态和评估基础设施
- 设计并运行实验，以提高训练效率、减少步时、提升正常运行时间并增强模型性能
- 在模型发布期间响应待命事件，快速诊断问题并协调跨团队解决方案
- 构建和维护生产日志、监控仪表盘和评估基础设施
- 为训练代码库添加新能力，例如长上下文支持或新颖架构
- 与旧金山和伦敦的队友以及 Tokens、Architectures 和 Systems 团队紧密合作
- 通过记录系统、调试方法和经验教训，为团队机构知识做出贡献
任职要求
- 具有训练大型语言模型的实操经验，或在 JAX、TPU、PyTorch 或大规模分布式系统方面有深厚专业知识
- 真正热爱研究与工程工作，理想时间分配大致为各占一半，而非严重偏向其中一方
- 乐于为生产系统待命，在发布期间长时间工作，并在压力下解决难题
- 能在最具影响力的事情上蓬勃发展，即使任务因生产模型需求而每天变化
- 擅长调试跨多个技术栈层次的复杂、模糊问题
- 能清晰沟通并有效协作，尤其是在跨时区协调或高压事件期间
- 对工作本身充满热情，并希望精进研究工程师的技艺
- 关心 AI 的社会影响和负责任扩展
- 曾训练 LLM 或大规模使用 JAX/TPU、PyTorch 或其他 ML 框架
- 为开源 LLM 框架做出过贡献（如 open_lm、llm-foundry、mesh-transformer-jax）
- 发表过关于模型训练、扩展规律或 ML 系统的研究
- 具有生产 ML 系统、可观测性工具或评估基础设施经验
- 具有系统工程师、量化分析师或其他需要技术深度与运营卓越背景