推理基础设施工程师
岗位摘要
负责OpenAI推理堆栈在AMD硬件上的启动、正确性和性能；将内部模型服务基础设施（如vLLM、Triton）集成到各种GPU支持的系统；调试和优化跨内存、网络和计算层的分布式推理工作负载
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口，并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 负责OpenAI推理堆栈在AMD硬件上的启动、正确性和性能
- 将内部模型服务基础设施（如vLLM、Triton）集成到各种GPU支持的系统
- 调试和优化跨内存、网络和计算层的分布式推理工作负载
- 验证大型GPU集群上模型执行的正确性、性能和可扩展性
- 与合作伙伴团队协作，使用HIP、Triton或其他性能优先框架为加速器设计和优化高性能GPU内核
- 与合作伙伴团队协作，构建、集成和调优用于跨多个GPU并行化模型执行的集体通信库（如RCCL）
任职要求
- 拥有使用HIP、CUDA或Triton编写或移植GPU内核的经验，并且非常关注底层性能
- 熟悉NCCL/RCCL等通信库，并了解它们在高吞吐量模型服务中的作用
- 有分布式推理系统工作经验，能够熟练地将模型扩展到大量加速器上
- 乐于解决跨硬件、系统库和编排层的端到端性能挑战
- 热衷于成为一个小型、快速发展的团队的一员，从基本原理出发构建新的基础设施
加分项
- 对RCCL,Triton,或vLLM等开源库的贡献.
- GPU性能工具的经验(Night, rocprof, perf)和内存/comms剖析.
- 先前的经验是,对其他非NVIDIA GPU环境进行推论.
- 了解模型/频率并行性,混合精度,服务于10B+参数模型.
- 更多信息请见OpenAI的平权行动和平等就业机会政策声明
- 将根据适用法律对申请人进行背景调查,并将考虑根据这些法律雇用有逮捕或定罪记录的合格申请人,包括美国《旧金山公平机会条例》、《洛杉矶县雇主公平机会条例》和《加利福尼亚公平机会法》
- 对未注册的洛杉矶县工人:我们有理由认为,犯罪史可能与下列
登录后查看完整岗位详情
使用邮箱验证码登录后，可查看完整职责、任职要求、原岗位入口，并继续使用收藏和浏览记录。列表摘要保持公开，完整详情用于保护数据质量和降低恶意抓取。