返回岗位列表

xAI

工程师

地点:美国 薪资:$180,000-$440,000 日期:2026-01-29

岗位摘要

开发和改进用于先进推理与训练软件栈的低层CUDA内核优化;使用Nsight等工具对单GPU和多GPU操作进行性能分析、调试和优化;理解GPU内存层次结构和计算能力;在低层CUDA内核中实现深度学习文献中的最新方法

岗位职责

  • 开发和改进用于先进推理与训练软件栈的低层CUDA内核优化
  • 使用Nsight等工具对单GPU和多GPU操作进行性能分析、调试和优化
  • 理解GPU内存层次结构和计算能力
  • 在低层CUDA内核中实现深度学习文献中的最新方法
  • 创新想法,以更接近GPU的性能极限

任职要求

  • 使用Tensor核心或CUDA核心,从零开始或利用CuTe/CUTLASS构建高性能GeMM CUDA内核
  • 通过扩展现有内核或从头编写,为注意力内核实现功能
  • 能够编写前向和后向内核,并在考虑浮点误差的同时确保其正确性
  • 针对内存受限和计算受限的操作进行优化
  • 使用Nsight等工具分析寄存器压力、共享内存使用和GPU利用率,并消除瓶颈
  • 熟悉优化推理和训练工作负载的最新且最有效的技术
  • 使用pybind将自定义编写的内核集成到框架中,特别是JAX/XLA

福利待遇

  • 全面的医疗、视力和牙科保险
  • 401(k)退休计划
  • 短期和长期残疾保险
  • 各种其他折扣和福利