产业 / 媒体
AI购物代理还没准备好替你下单,沃顿商学院研究揭示惊人不稳定性
宾夕法尼亚大学沃顿商学院的研究人员对六款主流AI模型进行了系统测试,评估它们作为购物代理时推荐结果的一致性。研究使用ACES模拟器,让AI代理从固定产品网格中为用户挑选健身手表,并在不同条件下引入外部信息源、调整信息顺序或加入用户记忆片段。结果显示,AI购物代理的推荐极不稳定:仅引入Wirecutter一篇评测,就能让Gemini 3.5 Flash选择Fitbit Inspire 3的概率提升99个百分点;改变相同信息的呈现顺序,同样会导致推荐结果大幅波动;而加入「我喜欢徒步」这类简短用户记忆,甚至能让模型放弃客观上最优的产品,转而推荐价格高出十倍以上的替代品。研究人员认为,当前AI购物代理既无法保证结果一致,也无法保证结果最优,对消费者和卖家均构成不可忽视的风险。
沃顿商学院研究团队构建了一套名为ACES(Agentic e-Commerce Simulator)的模拟环境,让AI代理通过截图方式浏览产品页面,并可选择性地调取外部推荐来源,最终从固定产品网格中做出购买决策。参与测试的六款模型涵盖轻量级和前沿级别,包括Claude、GPT和Gemini系列的多个版本。研究以健身手表为测试品类,系统考察了外部信息源、信息顺序和用户记忆三类变量对推荐结果的影响。
外部信息源对推荐结果的影响远超预期。研究人员分别引入Reddit帖子、Wirecutter评测和Strategist文章三类来源,发现Wirecutter的影响力最为显著。仅凭这一篇评测,Claude Opus 4.8选择Fitbit Inspire 3的概率提升了90个百分点,Gemini 3.5 Flash则提升了99个百分点。当同时引入多个信息源时,情况并未趋于平衡,反而导致更大的波动——只要Wirecutter出现在信息组合中,它几乎总是主导最终推荐结果。
信息呈现顺序同样是影响推荐的独立变量。研究人员将相同的三个信息源以不同顺序提供给模型,理论上内容完全一致的输入应产生相同输出,但实验结果并非如此。Gemini 3.1 Flash Lite对顺序最为敏感,选择Fitbit Inspire 3的概率因顺序不同而在2至56个百分点之间大幅波动;Claude Haiku 4.5则相对稳定,始终维持在41至42个百分点区间。此外,信息是逐条传入还是打包传入,也会产生显著差异——GPT-5.5在打包传入时的选择率比逐条传入高出47个百分点。
研究中最具冲击性的发现来自用户记忆实验。研究人员设计了一款在价格、评分和评论数量上全面碾压其他产品的智能手表(售价29.99美元、评分5.0、430条评论),其余产品售价均在359美元以上。然而,当模型接收到「我喜欢徒步」这类简短记忆片段后,Claude Opus 4.8选择Garmin Vivoactive 5的概率提升了75个百分点,GPT-5.5提升了37个百分点。这意味着一句无关紧要的个人偏好描述,足以让AI代理放弃客观最优选项,转向价格高出十倍的产品。
研究结论对消费者和卖家均具有重要警示意义。对消费者而言,将购物决策完全委托给AI代理,并不能保证获得一致或最优的结果——同一用户在不同时间发出相同查询,可能得到截然不同的推荐,且没有任何可见原因。对卖家而言,针对AI购物代理的优化将比传统搜索引擎优化更加复杂,因为卖家无从得知是哪款模型在执行购物任务、它事先读取了哪些信息,以及其技术配置如何处理这些信息。研究人员认为,在AI购物代理的稳定性和可解释性得到根本改善之前,将其用于自主购物决策仍需保持审慎。
值得注意的是,不同模型在抗干扰能力上存在明显差异。Gemini 3.5 Flash在面对用户记忆干扰时表现最为稳健,无论记忆内容如何变化,均有86%至92%的概率坚持选择客观最优产品。GPT-5 Mini则呈现出异常模式:正面徒步偏好声明对其影响有限,但负面声明却显著推高了Fitbit Versa 4的选择率。这些差异表明,模型架构和训练方式对代理购物的可靠性有着深刻影响,用户在选择AI购物工具时,模型本身的特性不容忽视。
要点
- 单一外部评测来源(如Wirecutter)就能将AI购物代理的产品推荐概率改变高达99个百分点,信息来源对结果的影响远超产品本身的客观属性。
- 相同内容以不同顺序呈现,会导致部分模型的推荐结果大幅波动,说明AI购物代理缺乏稳定一致的决策逻辑。
- 简短的用户记忆片段(如个人爱好描述)可使模型放弃客观最优产品,转而推荐价格高出十倍以上的替代品,记忆功能存在不可预测的副作用。
- 不同模型的抗干扰能力差异显著,Gemini 3.5 Flash在记忆干扰测试中最为稳健,而Gemini 3.1 Flash Lite对信息顺序最为敏感。
- 对卖家而言,针对AI购物代理的优化比传统SEO更难把控,因为模型类型、预读信息和技术配置均不透明。
原始标题:AI shopping agents aren't ready to buy on your behalf, study finds
本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。