模型 / 官方
Moonshot AI 发布 PerceptionBench：专项评测多模态大模型的原子视觉感知能力
Moonshot AI 在 GitHub 上正式开源 PerceptionBench，这是一个专为评测多模态大语言模型（MLLM）原子视觉感知能力而设计的基准测试框架。与现有侧重高层语义理解或复杂推理的评测集不同，PerceptionBench 将视觉感知能力拆解为更细粒度的原子任务，旨在系统性地衡量模型在颜色识别、空间关系、物体计数、边界检测等基础视觉维度上的真实表现。该项目以 Python 实现，面向学术研究者和模型开发者开放。随着多模态模型在各类应用场景中加速落地，如何科学评估其底层视觉感知能力已成为行业共识性难题，PerceptionBench 的推出为这一问题提供了结构化的解决思路，也为后续模型迭代优化提供了可量化的参考基准。
Moonshot AI 近日通过 GitHub 开源了 PerceptionBench，这是一套专门针对多模态大语言模型原子视觉感知能力的评测基准。所谓「原子视觉感知」，是指将复杂的视觉理解任务分解为不可再拆分的基础感知单元，例如对颜色、形状、位置、数量等单一属性的识别与判断，从而更精准地定位模型在视觉处理链路中的薄弱环节。
当前主流的多模态评测基准，如 MMBench、SEED-Bench 等，普遍侧重于考察模型的综合推理与语义理解能力，对底层视觉感知的细粒度评估相对不足。这导致一个现象：某些模型在综合榜单上表现亮眼，却在实际部署中暴露出对基础视觉信息的误判问题。PerceptionBench 正是为弥补这一评测盲区而生。
PerceptionBench 将视觉感知能力拆解为多个独立的原子维度，每个维度对应一类具体的感知任务。这种模块化设计使研究者能够针对特定感知能力进行横向对比，而非仅依赖单一综合分数来评判模型优劣。对于模型开发团队而言，这意味着可以更有针对性地识别训练数据或架构设计中的不足，并据此进行定向优化。
该项目以 Python 编写，代码结构清晰，便于研究者在自有环境中快速部署和扩展。Moonshot AI 选择在 GitHub 上完全开源，体现了其推动多模态评测标准化的意图。开放的评测框架有助于学术界和工业界在统一标准下比较不同模型的视觉感知能力，从而推动整个领域的透明化发展。
随着 GPT-4o、Gemini、Kimi 等多模态模型在图像理解、文档解析、视频分析等场景中的广泛应用，视觉感知能力的可靠性直接影响产品落地质量。PerceptionBench 的出现恰逢其时，为行业提供了一把衡量模型视觉基础能力的精细化标尺，预计将在学术评测和工程选型两个层面均产生实质性影响。
要点
- PerceptionBench 将视觉感知拆解为原子级任务，填补了现有多模态评测基准在底层感知维度上的空白
- 模块化评测设计使开发者能够精准定位模型在颜色、空间、数量等具体感知能力上的短板
- 项目完全开源，基于 Python 实现，便于学术研究者和工程团队快速集成与扩展
- 该基准有望推动多模态模型评测标准化，为行业横向比较提供统一参考框架
原始标题：MoonshotAI/PerceptionBench — PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models
本文由 DataHub 基于公开来源整理，用于信息发现与摘要阅读；具体事实、数据和后续更新以原始来源为准。