返回岗位列表

高级后端工程师，推理平台

查看原岗位

地点：美国薪资：薪资未公开日期：2026-01-29

岗位摘要

构建和优化全球及本地请求路由，确保跨数据中心和模型引擎集群的低延迟负载均衡；开发自动扩缩容系统，动态分配资源以满足数十个数据中心的严格服务水平目标；设计多租户流量整形系统，调整资源分配和请求处理，包括智能速率限制和调控，以确保所有用户的公平性和一致性体验

岗位职责

构建和优化全球及本地请求路由，确保跨数据中心和模型引擎集群的低延迟负载均衡
开发自动扩缩容系统，动态分配资源以满足数十个数据中心的严格服务水平目标
设计多租户流量整形系统，调整资源分配和请求处理，包括智能速率限制和调控，以确保所有用户的公平性和一致性体验
在延迟和吞吐量之间进行工程权衡，以高效服务多样化的工作负载
优化前缀缓存以减少模型计算并加速响应
与机器学习研究人员合作，将新模型架构大规模投入生产
持续分析和剖析系统级性能，识别瓶颈并实施优化

任职要求

5年以上构建大规模、容错、分布式系统和API微服务的经验
在设计、分析和改进复杂系统的效率、可扩展性和稳定性方面有深厚背景
深入理解底层操作系统概念：多线程、内存管理、网络和存储性能
精通一种或多种编程语言

福利待遇

具有深度技术所有权和高影响力的文化——您的工作将使模型更快、更便宜、更易获取
具有竞争力的薪酬、股权和福利