Pathway BDH在SageMaker HyperPod上的工程实践

大语言模型在过去十年间几乎统治了AI领域，但其Transformer架构的核心设计始终未发生根本性变化。这一架构在训练阶段面临系统性泛化能力不足的问题，尤其在需要长链推理的任务上表现欠佳，往往需要海量数据和算力来弥补。在推理阶段，注意力机制的计算复杂度随序列长度急剧增长，固定大小的上下文窗口和不断膨胀的KV缓存进一步限制了模型处理长序列的能力。更关键的是，Transformer的封闭状态空间使得解释模型推理过程几乎无从实现，这在高度监管的行业中引发了可靠性与安全性方面的担忧。

Pathway的BDH架构从神经科学中汲取灵感，将序列建模重新表述为神经元粒子网络上的局部图动力学。模型采用Hebbian学习原则——即「共同激活的神经元相互连接」——来实现注意力机制，并将模型状态直接映射到神经元对之间的突触连接上。这种设计使得推理过程具备一定的可解释性，研究人员可以通过观察突触连接的变化来追踪模型的决策路径。与Transformer的密集激活模式不同，BDH在任意时刻通常只有约5%的神经元处于激活状态，这一稀疏激活特性显著降低了每次推理步骤所需的计算量。

BDH的线性注意力机制作用于固定的高维状态，无需随上下文长度增加而承担额外的复杂度开销，从而突破了Transformer在长序列处理上的固有限制。模型状态在推理过程中自适应更新，无需修改权重，也不依赖测试时的微调或重训练。在此架构之上，Pathway进一步开发了BDH-CQ推理系统，专为视觉问题求解设计。BDH-CQ通过在潜在状态上执行迭代计算并仅解码候选答案，使模型能够在不生成冗长文字推理链的情况下探索多个假设方向，神经元社区可以并行表示同一问题的不同候选解。

在工程落地层面，Pathway选择Amazon SageMaker HyperPod作为BDH训练与扩展的核心基础设施。HyperPod为应用AI科学家团队提供了弹性、可扩展且具备成本效益的算力共享环境，支持在大规模分布式训练任务中保持稳定性。BDH与PyTorch等主流框架深度集成，降低了工程团队的迁移成本。由于BDH的扩展维度仅为单一神经元维度，相比Transformer在多头注意力和层间分布上的复杂性，其分布式训练的协调难度显著降低，这也使得在HyperPod上实现高效扩展成为可能。

在ARC-AGI-1基准测试中，基于BDH架构构建的BDH-CQ以150M参数规模刷新了成本效率纪录，验证了潜空间推理路线的实际价值。Pathway联合创始人兼CEO Zuzanna Stamirowska指出，当前AI推理的高昂token成本并非智能本身的必然代价，而是架构设计选择的结果。BDH的实践表明，通过重新设计架构，可以在每美元智能产出上开辟全新的空间。这一结果对于追求推理效率与可解释性的企业级AI部署场景具有重要参考意义，也为后Transformer时代的架构探索提供了一条具体可行的路径。

要点

• BDH架构在潜空间中完成推理，彻底摆脱对链式思维token的依赖，每次推理仅激活约5%的神经元，大幅降低计算开销
• BDH-CQ以150M参数在ARC-AGI-1基准上创下成本效率新纪录，证明小规模仿脑模型可在特定推理任务上超越更大规模的Transformer模型
• 模型状态直接映射到类突触连接，使推理过程具备一定可解释性，有助于在金融、医疗等高监管行业中建立可信度
• 依托Amazon SageMaker HyperPod实现弹性分布式训练，BDH单一神经元维度的扩展特性使分布式协调复杂度低于传统Transformer
• BDH支持跨会话状态保留与上下文内自适应更新，无需重训练即可处理新问题，解决了LLM长期记忆缺失的根本性痛点