推理团队高级软件工程师
岗位摘要
端到端工作,识别并解决关键基础设施瓶颈,为数百万用户提供Claude服务;设计智能路由算法,优化请求在数千个加速器间的分发;自动扩展计算集群,动态匹配生产、研究和实验工作负载的供需;构建生产级部署流水线,向数百万用户发布新模型
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 端到端工作,识别并解决关键基础设施瓶颈,为数百万用户提供Claude服务
- 设计智能路由算法,优化请求在数千个加速器间的分发
- 自动扩展计算集群,动态匹配生产、研究和实验工作负载的供需
- 构建生产级部署流水线,向数百万用户发布新模型
- 集成新的AI加速器平台,保持硬件无关的竞争优势
- 支持新模型架构的推理
- 分析可观测性数据,根据实际生产工作负载调整性能
- 管理多区域部署和面向全球客户的地理路由
任职要求
- 拥有丰富的软件工程经验,尤其是分布式系统方面
- 熟悉性能优化、分布式系统、大规模服务编排和智能请求路由
- 了解LLM推理优化、批处理策略和多加速器部署者优先
- 具备高绩效、大规模分布式系统经验
- 有大规模机器学习系统实施和部署经验
- 熟悉负载均衡、请求路由或流量管理系统
- 以结果为导向,倾向于灵活性和影响力
- 愿意承担职责范围之外的工作
- 渴望学习更多关于机器学习系统和基础设施的知识
- 在技术卓越直接推动业务成果和研究突破的环境中茁壮成长
- 关心工作的社会影响
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。