AI搜索评估产品经理
岗位摘要
搭建AI搜索评估体系：针对大模型生成式搜索、语义检索、RAG问答等场景，搭建专属的离线+在线评估体系，制定AI搜索相关性、真实性、准确性、逻辑性、安全性、多样性的评测标准与标注规范
岗位职责
- 搭建AI搜索评估体系：针对大模型生成式搜索、语义检索、RAG问答等场景，搭建专属的离线+在线评估体系，制定AI搜索相关性、真实性、准确性、逻辑性、安全性、多样性的评测标准与标注规范
- 全维度质量巡检与Badcase归因：日常巡检AI搜索全链路体验，挖掘语义理解错误、生成幻觉、答案不实、召回缺失、排序异常、歧义误判、无结果、内容低质等AI特有Badcase，完成问题归类、根因分析与优先级排序，输出优化整改清单
- 迭代实验效果验收：负责所有AI搜索策略迭代、模型升级、功能上线的A/B实验评估，解读离线评测指标（NDCG、MRR、准召率）与线上用户指标（CTR、首点击、跳出率、会话满意度），输出专业的产品验收结论与优化建议
- 体验基线与风险监控：搭建通用、长尾、口语化、复杂语义、多模态等多场景AI搜索质量基线，常态化监控指标波动，及时发现策略退化、模型效果衰减、内容风险等问题，保障搜索体验稳定可控
- 评测工具与流程优化：联动研发搭建AI自动评测、批量巡检、问题溯源工具，优化人工标注流程与评测效率，沉淀搜索质量白皮书、问题库、迭代规范，实现体验质量标准化管理
- 反向驱动产品策略迭代：基于评测数据与Badcase沉淀，反向输出产品优化方向、策略调优建议、需求迭代优先级，配合策略产品、算法团队完成体验闭环优化
任职要求
- 本科及以上学历，有搜索产品、AI产品、内容质量、体验评测相关经验优先，熟悉大模型搜索特性
- 精通搜索核心评估指标，理解AI搜索幻觉、语义偏差、事实错误等特有问题，具备体系化的质量评估思维
- 具备极强的细节洞察力与问题敏感度，能精准识别AI搜索体验短板，独立完成问题归因与复盘总结
- 熟练使用数据分析工具、掌握基础SQL，能够通过数据量化体验问题、验证迭代效果
- 严谨细心、逻辑闭环，具备良好的跨团队沟通能力，可独立推进质量优化闭环