大模型高性能网关工程师
岗位摘要
负责大模型开发者平台的设计与后端研发，将前沿模型能力转化为稳定易用的 API 产品；跟进主流大模型 API 生态演进，完善 OpenAI、Anthropic 等协议兼容能力，解决接口差异
岗位职责
- 负责大模型开发者平台的设计与后端研发，将前沿模型能力转化为稳定易用的 API 产品
- 跟进主流大模型 API 生态演进，完善 OpenAI、Anthropic 等协议兼容能力，解决接口差异
- 参与建设端到端高性能大模型网关链路，以零开销原则构建整体链路，追求极致性能
- 建设统一的模型接入、服务治理和流量调度体系，提升平台可用性、性能、扩展性和资源利用效率
- 参与开放 API、管理后台和部署运维工具链建设，支持公有云及企业私有化部署场景
- 建设模型用量、成本、配额、调用日志、账单和运营分析等平台能力，支撑规模化商业运营
- 参与平台安全与合规建设，包括身份鉴权、密钥安全、权限控制、审计和风险治理
任职要求
- 具备2年以上后端研发经验，熟悉 Go、TypeScript/Node.js、Python 中至少一种语言
- 熟悉 HTTP API、RESTful、流式响应和反向代理等技术，理解鉴权、限流、熔断、负载均衡等基础能力
- 熟悉 MySQL 或 PostgreSQL、Redis、消息队列等常用基础设施，具备良好的数据建模和分布式系统设计能力
- 有复杂后端系统的设计、研发和线上运维经验，关注系统的稳定性、性能、安全性和长期演进
- 具备良好的产品意识和开发者视角，能够将复杂的模型与基础设施能力转化为清晰易用的 API
- 具备良好的问题分析、沟通协作和项目推动能力，能够推动跨团队复杂项目落地
加分项
- 深度使用或参与过 new-api、one-api、sub2api、LiteLLM 等相关项目
- 熟悉 OpenAI、Anthropic 等主流大模型 API 生态，了解不同模型厂商在接口协议、流式响应、工具调用、错误处理和用量计量等方面的差异
- 有大模型开发者平台、多模态生成平台、高并发 API 平台或商业化系统建设经验
- 有大规模流量调度、资源治理、容器化、私有化部署或可观测性平台建设经验
- 有开源项目贡献或复杂系统研发经验
- 有icpc、asc等竞赛获奖经验