MaaS 架构师
岗位摘要
负责MaaS平台架构设计，明确模型从产出到上线的全链路环节，对模型服务的SLA、延迟、吞吐量等核心指标负责；主导大模型推理网关的设计与建设，包括多模型路由、流量调度、优先级队列、多租户隔离与Token级计量能力
岗位职责
- 负责MaaS平台架构设计，明确模型从产出到上线的全链路环节，对模型服务的SLA、延迟、吞吐量等核心指标负责
- 主导大模型推理网关的设计与建设，包括多模型路由、流量调度、优先级队列、多租户隔离与Token级计量能力
- 设计GPU资源弹性伸缩策略，结合模型特征与负载信号实现智能调度与资源高效利用
- 推动KV Cache感知调度的方案设计与落地，包括Prefix Caching、Paged Attention等技术在生产环境的应用，提升显存利用率与系统吞吐
- 参与单机推理框架的选型、适配与性能调优，跟进vLLM/TensorRT-LLM/SGLang等主流引擎的演进，推动Continuous Batching、Speculative Decoding、量化部署等优化落地
- 构建推理负载的统一抽象与服务化封装，支持LLM/多模态/Embedding等多种负载类型的标准化部署与可观测性建设
任职要求
- 本科及以上学历，计算机科学或相关专业，5年以上后端架构或AI基础设施相关经验
- 精通C++/Python/Go中至少两门语言，具备扎实的系统编程能力
- 深刻理解LLM原理（Attention机制、KV Cache、Batching策略等）
- 具备大规模GPU集群的架构设计与调度经验，熟悉Kubernetes及GPU相关调度机制
- 熟悉至少一种主流推理框架（vLLM/TensorRT-LLM/SGLang），有源码级理解或定制开发经验
- 具备良好的跨团队协作与技术方案推动能力
加分项
- 有千卡以上规模 GPU 推理平台的建设经验
- 有自研或深度定制推理引擎的经历
- 在 LLM Serving 相关开源项目中有贡献（vLLM / SGLang / Ray Serve 等）
- 了解 MoE 模型推理、长上下文推理（128K+）的工程优化实践
- 熟悉 CUDA / NCCL / Triton 等 GPU 编程与通信框架