无权重神经网络能让AI能耗降低千倍吗

当今主流AI模型的运算基础，可以追溯到1943年McCulloch-Pitts提出的神经元模型。产业界在此基础上堆叠了数十亿个神经元，让模型变得强大，但也让每一次推理都需要消耗海量乘法运算。Lizy K. John对此提出质疑：人脑回答问题时并不做乘法，只是在「是」与「否」之间做判断，而人脑的功耗仅约20瓦。她认为，AI或许根本不需要如此繁重的计算。

无权重神经网络的核心思路是用查找表替代权重乘法。网络接收二进制输入，通过多个相互连接的小型查找表逐步得出结论，本质上是在查询预存的答案，而非反复求解同一道算术题。由于彻底消除了乘法，这类网络在硬件上的实现成本极低，也不需要GPU支持，可以直接运行在FPGA等现成芯片上。John的团队在不到六个月内就完成了首个FPGA原型，模型体积比同类方案缩小了千倍。

在具体应用上，团队已在多个医疗与感知场景中验证了这一方法的优势。以关键词唤醒为例，业界最优模型每次推理需消耗超过5000纳焦，而无权重方案仅需42至79纳焦。在人体活动识别和心电、脑电、血压等医疗监测任务中，能耗同样降低约千倍。更关键的是，模型足够小，可以直接部署在传感器贴片上，无需将原始数据传输至服务器，既节省能耗，也保护了用户隐私。

硬件形态的突破同样引人关注。团队在可弯曲塑料基板上成功集成了一个心律失常检测器，整个电路仅需约一万个逻辑门，而现代2纳米或5纳米芯片上集成的逻辑门数量高达数十亿。传统神经网络根本无法在如此受限的基板上运行，无权重网络却能轻松胜任。此外，这种塑料基板的制造过程比标准芯片工艺耗水更少，具备一定的可持续性优势。

尽管成果令人鼓舞，无权重神经网络目前仍面临规模化的挑战。John坦言，研究界对这一方向的关注远不及Transformer，原因在于现有方案只在小规模问题上得到验证，外界对其能否扩展至大模型仍存疑虑。不过，团队已着手将无权重方法引入Transformer架构，目前已成功替换其中约一半的多层感知机层，注意力层的替换工作仍在推进中。John希望，一旦能在大型语言模型上展示成功案例，将吸引更多研究者加入这一领域。

从更宏观的视角看，无权重神经网络代表的是一种对AI基础假设的重新审视。现有产业路径沿用了八十年前的神经元模型，并通过堆砌规模来换取性能，但这并不意味着这是唯一的路。John的工作提示，在边缘计算、医疗设备、低功耗传感器等对能耗极度敏感的场景中，查找表方法或许能提供一条更经济、更可持续的替代路径，而无需等待整个技术生态发生根本性变革。

要点

• 无权重神经网络用查找表替代权重乘法，在医疗监测和关键词唤醒等任务上实现了体积与能耗均降低约千倍的效果，同时保持相近精度。
• 该方法已在可弯曲塑料基板上集成心律失常检测器，仅需约一万个逻辑门，为可穿戴医疗设备提供了新的硬件路径。
• 团队已成功将无权重方法替换Transformer中约一半的多层感知机层，大语言模型是下一步攻关目标。
• 模型可直接部署在传感器端，原始数据无需离开设备，在节省传输能耗的同时提升了数据隐私保护。
• 这一方向目前研究者稀少，主要障碍是缺乏在大规模任务上的成功案例，一旦突破有望吸引更多资源投入。