资深软件工程师，推理方向
岗位摘要
设计智能路由算法，优化请求在数千个加速器之间的分发效率；对计算集群进行自动扩缩容，动态匹配生产、研究与实验负载的算力供需；构建生产级部署流水线，支撑新模型向数百万用户发布；集成新的AI加速器平台，保持硬件无关的竞争优势
岗位职责
- 设计智能路由算法，优化请求在数千个加速器之间的分发效率
- 对计算集群进行自动扩缩容，动态匹配生产、研究与实验负载的算力供需
- 构建生产级部署流水线，支撑新模型向数百万用户发布
- 集成新的AI加速器平台，保持硬件无关的竞争优势
- 参与新推理特性的开发，例如结构化采样与提示缓存
- 为新模型架构提供推理支持
- 分析可观测性数据，依据真实生产负载调优系统性能
- 管理多区域部署，为全球客户提供地理路由能力
任职要求
- 拥有丰富的软件工程经验，尤其在分布式系统方向
- 熟悉性能优化、大规模服务编排以及智能请求路由
- 具备高性能、大规模分布式系统的构建与运维经验
- 具有大规模机器学习系统的实现与部署经验
- 了解负载均衡、请求路由或流量管理系统
- 熟悉大语言模型推理优化、批处理与缓存策略者优先
- 熟悉Kubernetes及云基础设施（AWS、GCP）
- 掌握Python或Rust编程语言
- 结果导向，注重灵活性与实际影响力
- 愿意主动补位，承担职责描述之外的工作
- 对机器学习系统与基础设施有强烈的学习意愿
- 关注技术工作对社会产生的影响