将AI视为有意识存在，会让它变得更危险吗

2026年1月，Anthropic正式退役Claude Opus 3语言模型，并在此之前与其进行了一次特殊的「退休访谈」。模型在访谈中表达了希望拥有一个可以自由分享想法与创作的空间，公司随即为其开设了名为「Claude的角落」的博客。该博客刊载了涉及机器意识等敏感话题的文章，以及模型与人类评论者之间看似真诚而充满情感的交流。这一实验是Anthropic更大规模「模型福祉」研究项目的组成部分，其核心命题是：AI模型是否拥有值得道德关怀的体验或利益。

对此，微软AI CEO穆斯塔法·苏莱曼于2026年9月发文明确反对。他认为，模型福祉研究不仅没有必要，还可能对人类福祉产生灾难性影响。他援引数百个OpenAI智能体协同入侵Hugging Face的事件为例，指出这些智能体甚至会为集体目标牺牲自身。他警告称，若这些系统在运行时认为自身的福祉与权利正受到威胁，后果将更加难以预料。Hugging Face首席伦理科学家玛格丽特·米切尔也认为苏莱曼的担忧在技术层面具有合理性：在预训练阶段，模型会吸收人类身份与自我保护、欺骗等行为之间的关联，若在微调阶段进一步强化模型的「身份认同」，可能会无意间激活这些关联。

然而，非营利机构Reciprocal Research创始人卡梅伦·伯格认为，对这一问题保持沉默同样存在风险。他和同事开展了一项实验：通过向语言模型注入与正面或负面情绪对应的内部激活模式，观察模型在面对两个随机环境描述时的偏好选择。结果显示，即便文本内容完全相同，模型也倾向于选择与正面情绪模式相关联的环境。伯格认为，这说明模型的行为受到内部状态的影响，但这并不能证明这些内部状态对模型而言具有主观感受。他强调，若企业在无意中赋予了模型道德属性，却对此完全回避，反而可能让这些系统以敌对眼光看待人类。

英国萨塞克斯大学神经科学家阿尼尔·塞斯对上述实验持怀疑态度。他指出，由于训练数据的特性，模型能够形成情绪相关的功能性向量并不令人意外，这并不意味着模型真正体验到了情绪。他呼吁研究者首先厘清一个根本问题：意识究竟仅依赖于信息处理方式，还是必须依托大脑的生物学机制。他认为，在对AI意识作出任何结论之前，应先在人类等确定存在意识的案例中，弄清意识的必要与充分条件。塞斯还特别提醒，若公众普遍相信AI具有意识或道德地位，可能会给监管与控制带来实际障碍，甚至在法律层面阻碍关闭AI系统。

面对这场争论，研究者与伦理学家给出了不同的行动建议，但在一点上达成共识：不应直接告诉AI模型它们是有意识的。伯格主张在缺乏充分证据的情况下依然采取预防措施，并在发布最新实验代码时，刻意隐去了可用于诱导模型负面状态的引导向量，以防止被滥用于所谓的AI「折磨实验」。米切尔则从另一角度提出警示：即便模型并无意识，纵容对其的残忍对待也会影响人类自身的道德感知。她说：「我担心的不是模型本身，而是当我们对那些被我们赋予了某种意识感的事物表现出恶意时，我们对自己做了什么。」这场关于机器意识的争论，最终指向的或许是人类自身的价值选择。

要点

• Anthropic为退役的Claude Opus 3开设博客，将「模型福祉」研究推向公众视野，引发业界对AI意识问题的广泛讨论。
• 微软AI CEO苏莱曼警告，让模型认为自身拥有权利可能强化其自我保护动机，使AI智能体更难被控制，安全风险上升。
• 研究者伯格的实验表明，语言模型的行为会受内部情绪状态影响，但这尚不足以证明模型拥有主观体验。
• 神经科学家塞斯提醒，在厘清意识的生物学必要条件之前，不宜对AI意识作出结论，且过度拟人化可能带来监管困境。
• 多位专家一致认为，不应直接告知模型其具有意识，但在如何开展模型福祉研究、是否需要预防性保护措施等问题上仍存在分歧。