44%的大模型研究结论已「过期」，平均寿命仅15.7个月

斯坦福大学研究人员Owen Queen与James Zou近期发布的一项研究，对大语言模型领域的知识积累方式提出了系统性质疑。他们从学术文献中筛选出50项被广泛引用的LLM研究结论，并使用20个当前主流模型逐一验证。测试模型来自八家不同开发商，发布时间集中在2024年7月至2026年9月之间。结果令人警醒：44%的结论已经「过期」，原始效应几乎完全消失；另有34%明显弱化。在有过期时间估算的22项结论中，平均寿命仅为15.7个月。

研究进一步揭示了不同类型结论的「失效规律」。关于模型「不能做什么」的结论失效最快——9项推理相关发现中有5项已过期，无一得到强化或维持。这些失效结论涵盖了曾广为人知的模型弱点，包括无法正确数出「strawberry」中字母r的个数、在非常规数制下的算术错误、长上下文中段信息丢失，以及在用户施压时放弃正确答案等。研究者认为，这类错误存在明确的「正确答案」，为开发者提供了清晰的训练目标，因此更容易被针对性修复。

相比之下，涉及模型偏好与行为倾向的结论表现出更强的持久性。在仍然成立或有所强化的11项结论中，三项涉及LLM作为评估者时的行为模式——偏好自己生成的答案、对已接受与已拒绝论文的评分相近、易受医学摘要中语言修辞的影响。另有三项涉及对用户的奉承与顺从倾向。此外，左倾政治偏见、对开放性问题给出近乎相同答案的倾向，以及生成随机数时的非均匀分布，也均属持续存在的现象。

研究还以科学文献幻觉为案例进行了深入分析。2023年的原始研究显示，GPT-3.5会凭空捏造55%的参考文献。当研究者将相同提示词发送给当前模型时，GPT-6.1 Sol的幻觉率降至0%，Claude Sonnet 5.5仅为1%。然而，同为2026年发布的Qwen3.7-Flash在相同测试中仍有69%的幻觉率。这一结果表明，即便是同一时代的模型，表现差异也可能极为悬殊——在2026年7月至9月发布的模型中，过期结论数量从DeepSeek V4 Pro的11项到GPT-6.1 Sol的30项不等，发布时间、开发商或模型规模均无法可靠预测这一差异。

研究者据此提出了对整个LLM研究范式的反思与建议。他们认为，实证研究结论应被明确定位为「特定模型在特定时间点的观察」，而非可泛化的普遍规律。论文应详细记录所用模型的名称、版本与测试日期，并公开提示词与分析代码，以便未来研究者在新模型上复现验证。研究者还引用了OpenAI联合创始人、现已加入Anthropic的Andrej Karpathy的观点——公众对LLM实际能力的认知偏差，直接影响着人们对AI的信任程度与使用频率，而这种认知偏差在很大程度上源于过时研究结论的持续流通。

要点

• 斯坦福研究对50项广泛引用的LLM结论进行验证，发现44%已过期，34%显著弱化，平均寿命仅15.7个月
• 关于模型「不能做什么」的结论失效最快，推理类发现无一维持原有结论；而模型偏好与奉承倾向类结论相对持久
• 同代模型之间差异巨大：GPT-6.1 Sol文献幻觉率为0%，而同期发布的Qwen3.7-Flash仍高达69%
• 研究者呼吁论文应明确标注测试模型版本与日期，并公开提示词与代码，将结论定位为时间点观察而非普遍规律
• 社会偏见呈现复杂态势：左倾政治偏见持续存在，性别刻板印象有所弱化，非裔美国英语偏见的方向甚至出现反转