LLM 行为偏差的系统性揭示

训练后量化被广泛用于在算力与内存受限场景中部署大语言模型。当前业界普遍以准确率与困惑度作为衡量标准，但 arXiv 上发表的一项新研究表明，这些指标并不足以捕捉量化引发的行为变化。研究者通过跨模型、跨量化方案的对比实验，揭示出量化后的模型在内部决策上可能已与原始模型出现显著偏差。

为弥补这一评估盲区，研究团队提出了“正确性一致率”这一决策层指标。该指标独立于绝对准确率，专注于衡量基础模型与量化模型在“哪些样本被判为正确”这一维度上的重叠度。实验覆盖从 8 比特到 2 比特的多种量化粒度，结果显示即使在任务性能未明显下降的中等压缩区间，模型间的行为一致性已开始下滑，意味着表面无损的压缩实际上已改变了模型的判断逻辑。

在解释机制层面，研究者将量化重新建模为作用于注意力权重之上的结构算子，并利用统计与分布度量逐层量化其畸变程度。分析指出，量化误差并非线性累积：在某些低位宽节点上，模型行为会发生非线性突变，形成可识别的断点。这一非线性特征意味着简单按比例估计压缩影响并不安全。

进一步拆解注意力结构后，研究发现不同投影矩阵对量化的敏感度并不相同。查询（Q）与键（K）投影在量化后更易出现偏移，而值（V）投影与输出投影则相对稳健。Q 与 K 直接决定注意力分布的形态，这一不对称性为理解模型行为的退化路径提供了新的线索，也提示优化策略可针对敏感模块优先施加保护。

论文的核心结论是：基础模型与其量化版本之间存在“等价的错觉”。无论整体指标如何看似持平，量化都会在决策层引入不可忽视的漂移。因此，论文主张在大模型压缩评估体系中纳入行为层指标，与传统性能度量互补使用，以更准确地反映模型在真实部署场景中的可靠性。

要点

• 传统准确率与困惑度指标无法完整反映量化对大模型行为的影响，存在评估盲区。
• 研究提出的“正确性一致率”可作为决策层补充指标，独立衡量量化前后模型判断的重叠程度。
• ['实验覆盖 8 比特至 2 比特区间，显示中等压缩即足以引发行为分歧，量化并非无损。', '查询与键投影对量化更敏感，而值与输出投影相对稳健，可作为优化保护的重点。', '在低位宽下存在非线性断点，提示按比例外推压缩效果存在风险。']