全栈研发工程师(Harness)
岗位摘要
负责多模型接入层:统一各家模型 API 格式(Anthropic、OpenAI、Gemini、国产模型),使 harness 能够可插拔地接入不同模型;负责模型路由:根据任务类型将请求路由到不同模型,例如复杂推理任务路由到强模型,快速补全任务路由到轻量模型
岗位职责
- 负责多模型接入层:统一各家模型 API 格式(Anthropic、OpenAI、Gemini、国产模型),使 harness 能够可插拔地接入不同模型
- 负责模型路由:根据任务类型将请求路由到不同模型,例如复杂推理任务路由到强模型,快速补全任务路由到轻量模型
- 负责成本优化:实施缓存注入(prompt cache)、批处理以及模型降级策略
- 负责流式处理(SSE)、错误重试机制以及协议适配
任职要求
- 计算机相关专业本科及以上学历,具备 5 年以上后端研发经验
- 具有高并发 API 网关或中间件开发经验,熟悉流式处理(SSE)和协议适配
- 熟悉主流大模型 API(Anthropic Messages、OpenAI、Gemini)的格式差异
- 有模型路由、成本优化经验者优先
- 对多模型接入的工程细节(边界情况、性能、稳定性)有扎实把控能力