编译器/运行时工程师
岗位摘要
开发内部JAX或编译器/运行时功能,以满足基于不同硬件架构(Hopper, Grace Blackwell)的高性能大规模LLM训练需求;开发和使用创新工具,用于调试分布式程序、分析训练步骤和随时间变化的内存消耗
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 开发内部JAX或编译器/运行时功能,以满足基于不同硬件架构(Hopper, Grace Blackwell)的高性能大规模LLM训练需求
- 开发和使用创新工具,用于调试分布式程序、分析训练步骤和随时间变化的内存消耗
- 理解CUDA运行时及其与上层框架的交互
- 支持广泛的尖端LLM研究/生产任务
任职要求
- JAX/XLA专业知识:深入了解JAX核心及其与XLA编译器和运行时的交互
- 编译器优化:对编译器优化(如内存分配、调度、融合)有深刻理解,并熟练使用xprof等分布式性能分析工具
- 分布式LLM训练:拥有使用JAX(在GPU或TPU上)训练大规模LLM的实际经验,并能将各种并行策略应用于复杂用例
- 内核编译器经验:拥有Triton、Pallas、Mosaic或CuteDSL等内核编译器的实践经验
- 协作能力:具备出色的沟通技巧,以便与我们的预训练和推理团队紧密合作
福利待遇
- 全面的医疗、视力和牙科保险
- 401(k)退休计划
- 短期和长期残疾保险
- 各种其他折扣和福利
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。