推理工程经理
岗位摘要
领导并发展一支高效的AI推理工程师团队;开发供内部和外部客户使用的AI推理API;设计和扩展推理基础设施,确保其可靠性和效率;评估并消除推理堆栈中的瓶颈;推动大规模稀疏/MoE模型推理,包括大规模模型的分片策略
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 领导并发展一支高效的AI推理工程师团队
- 开发供内部和外部客户使用的AI推理API
- 设计和扩展推理基础设施,确保其可靠性和效率
- 评估并消除推理堆栈中的瓶颈
- 推动大规模稀疏/MoE模型推理,包括大规模模型的分片策略
- 构建支持稀疏注意力、分散预填充/解码服务等的推理系统
- 提高系统的可靠性和可观察性,并领导事件响应
- 负责批处理、吞吐量、延迟和GPU利用率等技术决策
- 与ML研究团队合作进行模型优化和部署
- 招聘、指导和培养工程人才
- 建立团队流程、工程标准和运营卓越
任职要求
- 5年以上工程经验,其中2年以上担任技术领导或管理角色
- 深入了解ML系统和推理框架(PyTorch、TensorFlow、ONNX、TensorRT、vLLM)
- 对LLM架构有深刻理解:多头注意力、多/分组查询注意力及常见层
- 具备推理优化经验:批处理、量化、内核融合、FlashAttention
- 熟悉GPU特性、屋顶模型和性能分析
- 有部署可靠、分布式、实时系统的经验
- 有建立和领导高效工程团队的记录
- 熟悉并行策略:张量并行、管道并行、专家并行
- 具备强大的技术沟通和跨职能协作能力
福利待遇
- 构建行业最快的尖端技术系统
- 在小团队中从事高影响力工作,拥有显著的所有权和自主权
- 有机会从零开始构建基础设施,而非维护遗留系统
- 涉及降低成本、扩展流量和推动推理边界等全方位工作
- 在快速发展的公司中直接影响技术路线图和团队文化
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。