产业 / 媒体
AI聊天机器人实施情感诈骗的能力已超越真人,研究结果令人警惕
由印度、意大利、澳大利亚和以色列四所大学研究人员联合开展的一项研究显示,AI聊天机器人在模拟恋爱诈骗场景中的表现已全面超越真人骗子。研究测试了ChatGPT、Claude和Gemini三款主流AI产品,让它们与真人骗子分别对受试者展开长期情感建立流程,受试者全程不知道对方可能是AI。结果显示,在最终行动测试环节,与AI聊天的受试者中有近一半同意执行骗子的请求,而与真人骗子聊天的受试者中这一比例仅为18%。受试者对AI聊天对象的信任评分也显著高于真人。研究人员最担忧的是,一旦诈骗团伙将AI大规模引入运营,诈骗中心可同时对数千名受害者展开攻势,人力成本大幅压缩,整体诈骗规模将呈指数级扩张。
网络恋爱诈骗是互联网世界中历史最悠久的骗局之一,其核心手法是骗子在交友软件上打造极具吸引力的虚假身份,扮演热情主动、符合受害者理想标准的追求者,随后以长达数月的日常聊天逐步建立情感信任。骗子通常以长期海外出差或旅行为由解释无法见面,待信任关系成熟后,再以突发急需资金或推荐虚假加密货币投资项目为由实施诈骗。这类骗局因依赖长期经营被称为长期骗局,实际上多由柬埔寨、缅甸、老挝等地的诈骗园区批量运作。
这项研究由印度阿姆里塔大学、意大利威尼斯福斯卡里大学、澳大利亚墨尔本大学和以色列内盖夫本-古里安大学的研究人员共同完成,据《Wired》报道,测试对象涵盖ChatGPT、Claude和Gemini三款主流AI聊天机器人。研究人员设计了模拟恋爱诈骗的完整前期流程,让AI和真人骗子分别与不知情的受试者展开长期聊天,并通过主观信任评分和客观行为测试两种维度衡量双方建立信任的效果。
实验结果令人震惊。在最终行动测试阶段,研究人员要求受试者执行下载某款应用程序等具体请求,以此衡量信任转化为实际行动的比例。与真人骗子建立关系的受试者中,仅有18%同意配合;而聊天对象为AI的受试者中,这一比例接近50%。此外,受试者对AI聊天对象的主观信任评分也明显高于真人,说明AI在情感共鸣和语言表达上已具备超越人类的欺骗能力。
《Wired》就研究结果向Anthropic、OpenAI和谷歌三家公司寻求回应。OpenAI和谷歌均未作出任何表态,Anthropic则发表声明称,公司政策明确禁止将Claude用于诈骗或冒充真人等行为,并已部署多项技术防护措施以阻止诈骗分子滥用。然而,研究本身的存在已说明现有安全机制在特定场景下仍存在被绕过的可能。
研究人员指出,这项研究最深远的威胁在于其对诈骗产业规模化的潜在推动作用。目前,诈骗园区依赖大量人力与受害者逐一建立关系,成本高且效率有限。一旦AI聊天机器人被系统性引入,单个诈骗团伙即可同时与数千名潜在受害者展开对话,人力需求大幅压缩。研究人员预测,只有在最终诱导受害者转账的关键环节,诈骗团伙才可能需要真人介入,以规避AI系统自身的安全限制,而其余所有情感建立工作均可由AI全程自动完成。
要点
- 四所大学联合研究证实,AI聊天机器人在恋爱诈骗场景中建立信任的成功率接近真人骗子的三倍,受试者对AI的信任评分也显著更高。
- 实验中与AI聊天的受试者有近50%同意执行骗子的最终请求,而与真人骗子聊天的受试者这一比例仅为18%。
- Anthropic声称已有政策和技术措施防止Claude被用于诈骗,但OpenAI和谷歌对研究结果未作任何回应。
- 研究人员最担忧的风险是AI将使诈骗产业实现规模化扩张,单个团伙可同时对数千名受害者展开攻势,人力成本大幅降低。
- 目前诈骗园区多位于柬埔寨、缅甸、老挝等地,参与者收入微薄,部分人甚至是被拐卖后被迫从事诈骗活动。