评估偏差让模型比较失效？Property Finder 如何在 Amazon Bedrock 上降本 86%

Property Finder 每天在中东和北非地区处理数万张房产图片，平均每条新房源包含约 15 张图片，所有图片在上线前均需完成质量评估。评估系统覆盖 11 项属性，涵盖水印检测、房间类型分类、装修状态、照片质量及建筑施工状态等维度。随着业务规模扩大，团队希望将视觉 AI 工作负载迁移至 Amazon Bedrock 以寻求更具成本效益的方案，却在这一过程中意外发现了评估体系本身存在的深层缺陷。

问题的核心在于评估数据集的构建方式。团队发现，现有标注样本中有 96.8% 的标签直接来自现役视觉语言模型的预测结果，而非由人类专家独立完成标注。这种做法形成了一个循环评估陷阱：任何替代模型都是在与现役模型的行为模式进行比较，而非与真实正确答案对照。更严重的是，数据集中还存在具体错误，例如水印文字提取中将幻觉品牌名称标记为正确答案，以及图片分类强制为单一标签而忽略多房间场景等问题。

为打破这一循环，团队从零开始构建可信赖的人工标注基准数据集。专家团队从未标注的生产房源中抽取了 356 张阿联酋图片进行独立标注，标注过程中完全隔离现役模型的预测结果。AWS 生成式 AI 创新中心团队同步开展系统性质量审查，通过专项澄清会议解决歧义案例，确保标注一致性。此外，团队将分类方式从单标签改为多标签，有效消除了因图片包含多个房间而产生的人为歧义，使模型评估更贴近真实业务场景。

在建立无偏差评估基准后，团队引入了进化式提示优化方法对模型进行迭代改进。优化循环以 256 张图片的专家标注开发集为基准，使用 Micro F1 作为主要评估指标对每轮预测结果进行打分，再通过错误分析识别失败图片中的视觉规律，并据此生成下一版本的提示词。整个优化过程从 v0 迭代至 v27，早期版本借助 AI 助手辅助提示词改写，后期则引入自动化优化机制，逐步提升分类准确率。

评估指标的选择同样经过精心设计。Micro F1 作为主要指标，对每条预测赋予相同权重，与业务目标保持一致；Macro F1 作为辅助指标，用于揭示 Micro F1 因高频类别主导而可能掩盖的稀有属性弱表现；逐标签精确率与召回率帮助定位具体失效模式；逐样本交并比则衡量预测标签与专家标签的重叠程度。对于旋转检测、水印检测等九项单标签属性，团队还额外计算了精确匹配准确率，以提供更直观的评估视角。

这一案例的核心启示在于：评估方法论本身可能才是模型升级的最大障碍，而非模型能力本身。当评估答案由被替换的模型书写时，任何比较都失去了有效性。Property Finder 最终通过重建无偏差基准数据集与系统性提示优化，在 Amazon Bedrock 上选定了准确率更高的模型，并将 11 项图片质量属性的整体评估成本降低了 86%。这套方法论对于任何依赖模型输出构建评估数据集的团队均具有直接参考价值。

要点

• 以现役模型预测结果作为标注基准会形成循环评估陷阱，导致任何替代模型在比较前就处于结构性劣势，这一问题在 AI 工程实践中普遍存在但常被忽视。
• 构建可信评估基准的关键在于人工专家独立标注，并在标注过程中完全隔离现役模型的输出，同时引入多标签分类以还原真实场景的复杂性。
• 进化式提示优化结合严格的评估指标体系，可在不更换底层模型架构的前提下显著提升分类准确率，Property Finder 经过 27 轮迭代实现了质的改进。
• Micro F1 与 Macro F1 需配合使用，前者反映整体标签正确率，后者揭示稀有属性上的弱表现，两者互补才能形成全面的评估视图。
• Property Finder 最终在 Amazon Bedrock 上将 11 项图片质量属性的评估成本降低 86%，证明评估方法论的修正可以直接解锁更优的模型选择空间。