AI资讯 / 产业

产业 / 媒体

多模态AI识别宜家装配错误能力大幅跃升,GPT-6 Astra准确率达80%

IT之家

Epoch AI于2026年9月23日发布家具组装基准测试(FAB)结果,专门考察多模态AI识别宜家家具装配错误的能力。测试使用60张故意装错的宜家家具照片,要求AI对照官方PDF说明书,找出错误步骤并说明具体问题,同时提供图片放大工具和Python解释器辅助分析。结果显示,OpenAI GPT-6 Astra以80%准确率位居榜首,Anthropic Claude Fable 5.1和Claude Opus 5分别达到70%和61%。相比2025年11月领先模型Claude Opus 4.5仅28%的准确率,前沿模型在约10个月内实现了接近三倍的提升。GPT-6 Astra完成单张照片分析的中位耗时约3分钟,是测试中速度最快的模型。在中国模型中,表现最好的开源权重模型Kimi K3相比国际前沿约落后7个月,视觉推理能力仍是部分中国模型的相对短板。

Epoch AI于2026年9月23日公布了家具组装基准测试(Furniture Assembly Benchmark,FAB)的最新结果。该测试专门评估多模态AI理解现实世界装配过程的能力,选取三款宜家家具进行故意错误组装,并拍摄不同阶段共60张照片,要求AI模型将照片与官方安装说明书进行比对,准确定位错误步骤并描述具体问题。测试结果显示,多模态AI在这一任务上取得了显著进展。

在测试设置上,AI模型不仅获得组装照片,还同时配备官方PDF说明书、图片放大工具和Python解释器。评分采用多阶段验证机制,只要模型能正确定位错误步骤并大致说明问题即可得分。这一设计更贴近真实使用场景——用户拍下组装中的家具,AI需判断零件是否装反、安装顺序是否有误,或是否遗漏了关键部件,而非单纯考察对说明书内容的记忆。

本次测试中,OpenAI GPT-6 Astra以80%的准确率位居榜首,Anthropic Claude Fable 5.1和Claude Opus 5分别以70%和61%紧随其后。与2025年11月领先模型Claude Opus 4.5仅28%的准确率相比,前沿模型在约10个月内实现了接近三倍的提升。GPT-6 Astra在推理效率上同样表现突出,完成单张照片分析的中位耗时约3分钟,比此前领先模型快2至10倍,但研究团队认为距离真正的实时识别仍有差距。

研究还揭示了不同模型的典型错误模式。谷歌Gemini和阿里Qwen系列模型倾向于先预设存在错误再寻找证据,而早期Anthropic和OpenAI模型则相反,常常完全忽略错误的存在。研究者还发现,家具对模型的难度与宜家官方复杂度指数关联不大,错误的隐蔽程度、拍摄视角以及错误发生后继续组装的程度,才是影响模型表现的更关键因素。

在中国模型的表现方面,目前最好的开源权重模型Kimi K3相比国际前沿约落后7个月,这一差距大于其在综合能力评估中约4.4个月的差距,说明视觉推理能力仍是部分中国模型的相对薄弱环节。值得注意的是,DeepSeek V4 Pro、GLM 5.3等热门模型目前尚未提供图像支持,暂时无法参与此类多模态测试。

Epoch AI认为,FAB所考察的能力综合了图像理解、空间推理和多步骤指令匹配,能较好反映多模态模型处理现实问题的水平。随着相关能力持续提升,AI有望在家具组装、设备安装、汽车维修和家电检修等需要结合图像与技术说明进行判断的场景中,提供更具针对性的实时辅助,具备一定的实际应用价值。

要点

  • GPT-6 Astra在FAB基准测试中以80%准确率领跑,前沿模型约10个月内准确率提升近三倍
  • 测试设计贴近真实场景,考察AI对照说明书识别装配错误的综合视觉与空间推理能力
  • 不同模型存在截然相反的错误倾向:部分模型过度预设错误,另一些则倾向于忽略错误
  • 中国模型在视觉推理能力上与国际前沿差距约7个月,大于综合能力评估中的差距
  • GPT-6 Astra单张分析耗时约3分钟,速度领先但距实时识别仍有差距
查看原始来源

原始标题:让 AI 学会“挑刺”:根据说明书 + 照片指出家具是否装错,OpenAI GPT-6 Astra 准确率已达 80%

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。