高级后端工程师，推理平台
岗位摘要
构建并优化全局和本地请求路由，确保跨数据中心与模型引擎Pod的低延迟负载均衡；开发自动扩缩容系统，动态分配资源并在数十个数据中心中满足严格的SLO；设计多租户流量整形系统，调整资源分配与请求处理，包括智能限流与调节，确保所有用户的公平性和一致体验
岗位职责
- 构建并优化全局和本地请求路由，确保跨数据中心与模型引擎Pod的低延迟负载均衡
- 开发自动扩缩容系统，动态分配资源并在数十个数据中心中满足严格的SLO
- 设计多租户流量整形系统，调整资源分配与请求处理，包括智能限流与调节，确保所有用户的公平性和一致体验
- 在延迟与吞吐量之间进行工程权衡，以高效服务多样化工作负载
- 优化前缀缓存，减少模型计算并加速响应
- 与机器学习研究员合作，将新模型架构大规模投入生产
- 持续进行系统级性能分析与剖析，识别瓶颈并实施优化
任职要求
- 拥有5年以上构建大规模、容错、分布式系统和API微服务的经验
- 在复杂系统的效率、可扩展性和稳定性设计、分析及改进方面有深厚背景
- 精通底层操作系统概念：多线程、内存管理、网络和存储性能
- 精通Rust、Go、Python或TypeScript中的一种或多种编程语言
- 了解现代大语言模型和生成式模型及其生产环境服务方式者优先
- 具有推理相关开源生态经验者极具价值；熟悉SGLang、vLLM或NVIDIA Dynamo者尤佳
- 具有Kubernetes或容器编排经验者优先
- 熟悉GPU软件栈（CUDA、Triton、NCCL）和HPC技术（InfiniBand、NVLink、MPI）者优先
- 计算机科学、计算机工程或相关领域的学士或硕士学位，或同等实践经验
福利待遇
- 提供具有竞争力的薪酬、股权和福利