专为拓扑推理设计的多模态AI基准测试

拓扑推理是人类空间认知的核心能力之一。判断两个房间在加墙后是否仍然相连、辨别动物是否处于围栏内部、区分真正的绳结与视觉上相似的缠绕——这些问题依赖的不是精确的距离或角度，而是在物体弯曲、拉伸或形变过程中依然保持稳定的结构关系。然而，现有多模态AI系统的评估体系几乎完全忽视了这一维度，MindTopo正是为填补这一空白而生。

MindTopo的任务体系受皮亚杰认知发展理论及相关认知科学文献启发，围绕五个类别展开：连续性（路径或物体是否保持完整）、分离性（相邻元素是否构成独立结构）、顺序（元素沿路径或变换过程中的排列方式）、封闭性（边界是否形成内外之分）以及绳结（绳索是否真正打结或相互链接）。每个类别均在推理与规划两个认知层次上进行评估，所有场景均由受控模拟器生成，提供精确的真实标注与可调节的难度等级。

测试结果在多个专有模型与开源模型中呈现出一致规律：静态推理表现明显强于交互规划，且两者均与人类水平存在显著差距。这一差距在需要跨多步操作保持拓扑关系的任务中尤为突出。错误模式分析进一步揭示了两类失败的本质区别：静态任务的错误通常源于感知层面的遗漏，例如未能识别墙体、开口或交叉点；而规划任务的错误则多发生在场景已被正确理解之后，模型在执行局部合理的动作时忽视了其对整体结构的后续影响。

规划失败的另一个典型表现是模型在多轮交互中逐渐「遗忘」任务目标，或提出违反环境物理约束的动作——例如试图让一根绳子穿过另一根绳子来解开绳结。MindTopo的模拟环境对合法动作有严格限制，这使得上述违规行为能够被准确捕捉，从而将视觉复杂度导致的失败与结构关系追踪能力不足导致的失败区分开来。

研究团队还测试了生成式工具在该基准上的表现，进一步验证了感知能力与规划能力之间的不对称性。这一发现对机器人技术、交互式环境设计以及具身智能等领域具有直接意义——在这些场景中，理解哪些结构保持连通、封闭、有序或打结，是可靠决策的基础前提。MindTopo的发布为未来模型改进提供了清晰的评估框架与方向指引。

要点

• MindTopo是首个系统评估多模态大语言模型拓扑推理能力的基准，涵盖连续性、分离性、顺序、封闭性与绳结五大类别。
• 现有模型在静态拓扑识别上表现尚可，但在需要跨多步操作维持拓扑关系的规划任务中表现大幅下滑，且均远低于人类水平。
• 规划失败的根源多在于模型无法持续追踪结构关系，而非初始感知错误，这揭示了当前模型在动态空间理解上的深层局限。
• MindTopo采用受控模拟器生成场景，能够精确区分视觉复杂度与结构推理能力两类失败来源，为后续研究提供可靠的评估基础。
• 该基准对机器人、具身智能及交互式AI系统的发展具有重要参考价值，指出了提升AI空间规划能力的关键突破方向。