大模型高性能网关工程师
岗位摘要
负责大模型开发者平台的设计与后端研发，将文本、视频、图像和音频等前沿模型能力转化为稳定、易用的API产品；跟进主流大模型API生态演进，持续完善OpenAI、Anthropic等协议兼容能力，解决不同模型和供应商之间的接口差异
岗位职责
- 负责大模型开发者平台的设计与后端研发，将文本、视频、图像和音频等前沿模型能力转化为稳定、易用的API产品
- 跟进主流大模型API生态演进，持续完善OpenAI、Anthropic等协议兼容能力，解决不同模型和供应商之间的接口差异
- 参与建设端到端高性能大模型网关链路，以zero overhead原则构建整体链路，追求极致性能表现
- 建设统一的模型接入、服务治理和流量调度体系，持续提升平台的可用性、性能、扩展性和资源利用效率
- 参与开放API、管理后台和部署运维工具链建设，支持公有云及企业私有化部署场景
- 建设模型用量、成本、配额、调用日志、账单和运营分析等平台能力，支撑开放平台规模化商业运营
- 参与平台安全与合规建设，包括身份鉴权、密钥安全、权限控制、审计和风险治理
任职要求
- 具备2年以上后端研发经验，熟悉Go、TypeScript/Node.js、Python中至少一种语言
- 熟悉HTTP API、RESTful、流式响应和反向代理等相关技术，理解鉴权、限流、熔断、负载均衡等基础能力
- 熟悉MySQL或PostgreSQL、Redis、消息队列等常用基础设施，具备良好的数据建模和分布式系统设计能力
- 有复杂后端系统的设计、研发和线上运维经验，关注系统的稳定性、性能、安全性和长期演进
- 具备良好的产品意识和开发者视角，能够将复杂的模型与基础设施能力转化为清晰、易用的API
- 具备良好的问题分析、沟通协作和项目推动能力，能够推动跨团队复杂项目落地
加分项
- 深度使用或参与过 new
- api、one
- api、sub2api、LiteLLM 等相关项目
- 熟悉 OpenAI、Anthropic 等主流大模型 API 生态，了解不同模型厂商在接口协议、流式响应、工具调用、错误处理和用量计量等方面的差异
- 有大模型开发者平台、多模态生成平台、高并发 API 平台或商业化系统建设经验
- 有大规模流量调度、资源治理、容器化、私有化部署或可观测性平台建设经验
- 有开源项目贡献或复杂系统研发经验
- 有icpc、asc等竞赛获奖经验
- 吴亚威 刚刚活跃
福利待遇
- 薪资范围40-70K
- 工作地点位于上海徐汇区新研大厦-B座11层
- 经验不限，本科及以上学历
工作地址
上海徐汇区新研大厦-B座11层