返回岗位列表

Together AI

核心机器学习研究工程师

地点:美国 薪资:$200,000-$280,000 日期:2026-07-20

岗位摘要

端到端提升推理效率:设计并原型化低延迟、高吞吐推理的算法、架构和调度策略;在高性能推理引擎(如SGLang/vLLM风格系统及Together推理栈)中实施并维护变更,包括内核后端、推测解码(如ATLAS)、量化等

岗位职责

  • 端到端提升推理效率:设计并原型化低延迟、高吞吐推理的算法、架构和调度策略
  • 在高性能推理引擎(如SGLang/vLLM风格系统及Together推理栈)中实施并维护变更,包括内核后端、推测解码(如ATLAS)、量化等
  • 跨GPU、网络和内存层进行性能分析与优化,改善延迟、吞吐量和成本
  • 统一推理与强化学习/后训练:设计并运行强化学习与后训练管线(如RLHF、RLAIF、GRPO、DPO等方法及奖励建模),其中90%以上的成本来自推理,需联合优化算法与系统
  • 通过推理感知的训练循环(如异步强化学习回滚、推测解码等)提升强化学习与后训练工作负载的效率,降低大规模回滚收集与评估成本
  • 利用这些管线在推理栈之上训练、评估并迭代前沿模型
  • 协同设计算法与基础设施,使目标、回滚收集和评估与高效推理紧密耦合,快速识别训练引擎、推理引擎、数据管道和用户层之间的瓶颈
  • 运行消融实验和规模扩展实验,理解模型质量、延迟、吞吐量和成本之间的权衡,并将洞察反馈至模型、强化学习与系统设计
  • 拥有生产规模的关键系统:在真实生产负载下分析、调试并优化推理与后训练服务,将研究想法转化为已部署系统中的稳定、可衡量的改进
  • 推动需要实际引擎修改的路线图项目——根据需要更改内核、内存布局、调度逻辑和API
  • 建立指标、基准和实验框架,以严格验证改进效果
  • 提供技术领导力

任职要求

  • 在高效推理(算法、架构、引擎)或后训练/强化学习系统领域有深厚的技术积累
  • 具备将前沿算法(如强化学习算法、调度方法、推理优化)转化为生产级系统的实际经验
  • 精通高性能推理引擎(如SGLang、vLLM)的内部机制,包括内核后端、推测解码、量化等
  • 熟悉强化学习与后训练管线(如RLHF、RLAIF、GRPO、DPO)的设计与运行
  • 具备跨GPU、网络和内存层的性能分析与优化能力
  • 能够端到端拥有系统,从研究原型到生产部署
  • 在算法或系统方向有深度,并愿意跨领域协作,逐步成长为全栈拥有者
  • 具备建立指标、基准和实验框架以严格验证改进的能力

福利待遇

  • 参与前沿的强化学习与高效推理研究,直接推动模型能力与成本效益的边界
  • 在兼具研究深度与生产影响力的岗位上工作,研究成果可快速落地至大规模API服务
  • 与顶尖的研究与工程团队合作,共同解决算法与系统交叉领域的复杂挑战
  • 拥有端到端系统所有权,从研究原型到生产部署全程主导
  • 在GPU、网络和内存等基础设施层面进行深度性能优化,获得宝贵的系统级经验
  • 推动并影响技术路线图,塑造下一代推理与训练基础设施