AI工程师(产品方向)
岗位摘要
为产品领域设计和运行评估:针对搜索相关性、聊天质量、文档理解或音频性能的参考测试、启发式方法和模型评分检查;定义和跟踪关键指标:任务成功率、帮助性、幻觉代理、安全标志、延迟、成本;负责提示词和编排设计:编写、测试并迭代提示词和系统提示词
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 为产品领域设计和运行评估:针对搜索相关性、聊天质量、文档理解或音频性能的参考测试、启发式方法和模型评分检查
- 定义和跟踪关键指标:任务成功率、帮助性、幻觉代理、安全标志、延迟、成本
- 负责提示词和编排设计:编写、测试并迭代提示词和系统提示词
- 对提示词、模型和配置进行A/B测试;分析结果;根据数据做出上线或回滚决策
- 为LLM调用设置可观测性:结构化日志记录、追踪、仪表板、警报
- 操作模型发布:金丝雀和影子流量、签署、基于SLO的回滚标准、回归检测
- 改进产品领域的核心行为,例如记忆策略、意图分类、路由、工具调用可靠性或检索质量
- 创建模板和文档,以便其他团队可以编写评估并安全部署
- 与科学团队合作诊断回归问题并主导事后分析
任职要求
- 3-4年工作经验;适合的背景包括更接近产品的机器学习工程师,或具有真实AI/ML生产经验的软件工程师
- 强大的TypeScript或Python技能——根据团队匹配,我们有两条技术路径
- 具备生产级LLM经验:提示词、工具/函数调用、系统提示词
- 具备评估和A/B测试的实践经验;能够设计指标,而不仅仅是运行它们
- 能够直接在产品代码中实现,而不仅仅是在笔记本中
- 具备可观测性经验:日志记录、追踪、仪表板、警报
- 具备产品思维:形成假设、运行实验、解释结果、部署
- 沟通清晰、自主性强,并且以生产影响力为导向,而非仅为实验而实验
福利待遇
- 加入一家塑造AI未来的先驱公司
- 成为充满活力、协作、对AI充满热情的团队一员
- 在法国、美国、英国、德国和新加坡的分布式团队中工作
- 富有创造力、谦逊且具有团队精神的文化环境
- 有机会对AI技术的社会影响做出有意义的贡献
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。