大模型网关服务端工程师
岗位摘要
负责大模型网关的架构设计与核心代码编写，支撑高并发、低延迟的AI请求调度；对接国内外主流大模型，实现多模型协议转换、动态权重路由及故障自动熔断降级；负责新模型的接入与效果验证，支撑算法研究员团队高效进行模型选型与使用
岗位职责
- 负责大模型网关的架构设计与核心代码编写，支撑高并发、低延迟的AI请求调度
- 对接国内外主流大模型，实现多模型协议转换、动态权重路由及故障自动熔断降级
- 负责新模型的接入与效果验证，支撑算法研究员团队高效进行模型选型与使用
- 负责网关可观测性与质量体系建设，量化成功率、延迟、流式完整性等核心指标，保障服务稳定性
任职要求
- 具备1年以上服务端研发经验
- 精通OpenAI / Anthropic接口细节，有协议转换经验者优先
- 具备扎实的计算机基础，包括数据结构、计算机网络及操作系统
- 熟悉MySQL数据库，深入理解Redis缓存设计
- 具备较强的自驱力，能够深入钻研技术问题
- 【加分项】精通Go语言
- 【加分项】有亿级大表查询优化经验
- 【加分项】熟练使用Claude Code等AI编程工具，并了解其底层原理
加分项
- 精通 Go 语言
- 熟练使用 Claude Code 等 AI 编程工具，并了解原理