AI基础设施工程师，推理服务平台
岗位摘要
构建并维护容错、高性能的系统，以大规模服务大语言模型和其他模型；构建内部平台，赋能大语言模型能力发现；与研究人员和工程师协作，为生产及研究用例集成并优化模型；进行架构与设计评审，维护系统设计和可扩展性方面的最佳实践
岗位职责
- 构建并维护容错、高性能的系统，以大规模服务大语言模型和其他模型
- 构建内部平台，赋能大语言模型能力发现
- 与研究人员和工程师协作，为生产及研究用例集成并优化模型
- 进行架构与设计评审，维护系统设计和可扩展性方面的最佳实践
- 开发监控与可观测性解决方案，确保系统健康与性能
- 在跨职能环境中端到端领导项目，从需求收集到实施
任职要求
- 4年以上构建大规模、高性能后端系统的经验
- 精通一门或多门编程语言（如Python、Go、Rust、C++）
- 具有大语言模型服务与路由基础经验（如限流、令牌流式传输、负载均衡、预算等）
- 具有大语言模型能力与概念经验，如推理、工具调用、提示模板等
- 具有容器和编排工具经验（如Docker、Kubernetes）
- 熟悉云基础设施（AWS、GCP）和基础设施即代码（如Terraform）
- 具备解决复杂问题并在快节奏环境中独立工作的能力
- 加分项：具有现代大语言模型服务框架经验，如vLLM、SGLang、TensorRT-LLM或text-generation-inference
福利待遇
- 包容和平等机会的工作场所，致力于提供平等的就业机会
- 为有身体和精神残疾的申请人提供合理便利
- 与Meta、安永、梅奥诊所、时代公司、卡塔尔政府及美国政府机构等行业领导者密切合作
- 公司使命是开发可靠的人工智能系统，服务于全球最重要的决策