返回岗位列表

软件工程师 - 多模态推理基础设施

查看原岗位

地点：美国薪资：薪资未公开日期：2025-05-21

岗位摘要

设计和实施用于大规模多模态模型的推理基础设施；优化系统，以实现图像和音频输入/输出的高吞吐量、低延迟交付；将实验性研究工作流程转变为可靠的生产服务；与研究人员、基础设施团队和产品工程师紧密合作，部署最先进的功能

岗位职责

设计和实施用于大规模多模态模型的推理基础设施
优化系统，以实现图像和音频输入/输出的高吞吐量、低延迟交付
将实验性研究工作流程转变为可靠的生产服务
与研究人员、基础设施团队和产品工程师紧密合作，部署最先进的功能
参与系统级改进，包括GPU利用率、张量并行和硬件抽象层

任职要求

拥有构建和扩展LLM或多模态模型推理系统的经验
有处理基于GPU的机器学习工作负载的经验，并理解大型模型（尤其是处理图像或音频等复杂数据时）的性能动态
喜欢实验性、快速演进的工作，并乐于与研究人员紧密合作
能够处理涉及网络、分布式计算和高吞吐量数据处理的系统
熟悉vLLM、TensorRT-LLM或自定义模型并行系统等推理工具
能够端到端地解决问题，并乐于在模糊、快速变化的环境中工作