前沿部署工程师（推理方向）
岗位摘要
嵌入客户工程团队，在AI模型与客户生产环境之间构建连接架构；设计高级模型服务拓扑，实现多租户架构、智能模型路由及多集群环境下的跨数据中心故障转移策略；优化“AI-in-a-box”及私有化部署，在Kubernetes多集群规模等SRE约束与模型性能之间取得平衡
岗位职责
- 嵌入客户工程团队，在AI模型与客户生产环境之间构建连接架构
- 设计高级模型服务拓扑，实现多租户架构、智能模型路由及多集群环境下的跨数据中心故障转移策略
- 优化“AI-in-a-box”及私有化部署，在Kubernetes多集群规模等SRE约束与模型性能之间取得平衡
- 对客户LLM工作负载进行严格的基准测试与性能剖析，通过指标、仪表盘和分布式日志定位性能下降根因（如生成缓慢）
- 加速硬件验证，与客户协作在下一代加速器（GPU、TPU、AMD及定制ASIC）上运行和支持Cohere模型
- 将复杂的现场摩擦转化为平台升级，提供规范性反馈并直接贡献于核心产品功能
- 确保第一天生产可靠性，协助客户建立合理的部署模式、SLO和可观测性框架
任职要求
- 8年以上工程经验，负责生产基础设施、设计大规模分布式系统或在复杂环境中部署企业软件
- 深入掌握生产级Kubernetes，包括跨多集群及混合/多云生态系统（GCP、Azure、AWS、OCI）的编排
- 深入理解LLM架构与推理动态，特别是注意力机制、计算密集型预填充与内存密集型解码阶段如何影响实时性能
- 具备现代推理引擎和优化栈（如vLLM、TensorRT-LLM、lmd或Dynamo）的实践经验
- 熟悉分布式服务技术，如预填充/解码分离服务、分布式KV缓存和多GPU工作负载
- 卓越的客户面向技术领导力，具有界定高度模糊问题并引导高管技术决策的 proven 记录