返回岗位列表

推理工程师

查看原岗位

地点：远程薪资：$300,000-$485,000 日期：2026-01-29

岗位摘要

设计智能路由算法，优化请求在数千个加速器间的分发；自动扩展计算集群，动态匹配生产、研究和实验工作负载的供需；构建生产级部署流水线，向数百万用户发布新模型；集成新的AI加速器平台，保持硬件无关的竞争优势

岗位职责

设计智能路由算法，优化请求在数千个加速器间的分发
自动扩展计算集群，动态匹配生产、研究和实验工作负载的供需
构建生产级部署流水线，向数百万用户发布新模型
集成新的AI加速器平台，保持硬件无关的竞争优势
开发新的推理功能（例如结构化采样、提示缓存）
支持新模型架构的推理
分析可观测性数据，根据实际生产工作负载调整性能
管理多区域部署和面向全球客户的地理路由

任职要求

拥有丰富的软件工程经验，特别是分布式系统方面
结果导向，倾向于灵活性和影响力
愿意承担额外工作，即使超出职责范围
喜欢结对编程
希望了解更多关于机器学习系统和基础设施的知识
在技术卓越直接驱动业务成果和研究突破的环境中茁壮成长
关心工作的社会影响
具备高性能、大规模分布式系统经验
具备大规模机器学习系统实施和部署经验
具备负载均衡、请求路由或流量管理系统经验
具备LLM推理优化、批处理和缓存策略经验
具备Kubernetes和云基础设施（AWS、GCP）经验