产业 / 媒体
专为企业 AI 智能体持续运行而生的开放多模态大模型
英伟达正式发布 Nemotron 3.5 Super VL,这是一款拥有1200亿参数的开放多模态大模型,专为企业场景中持续运行的 AI 智能体设计,能够处理文本、图像、文档与视频等多种内容。该模型采用混合专家架构,每次推理仅激活120亿参数,在保持高精度的同时大幅降低计算开销。英伟达同步推出两款面向本地设备的 Bolt 系列模型:Bolt 74B-A9B 24GB 适配高端 PC 与工作站,Bolt E4B 4GB 则针对语音助手场景,将于本月晚些时候发布。Super VL 由英伟达联合 Mistral AI、Perplexity、Black Forest Labs 等机构共同开发,并开放模型权重、训练数据集与训练方案。不过,要充分发挥其性能,仍需依赖英伟达自家硬件,包括 Blackwell GPU、DGX Spark 等产品线。
英伟达发布的 Nemotron 3.5 Super VL 定位于企业级后台智能体,能够在无人干预的情况下持续处理复杂任务。该模型采用混合专家架构,总参数量达1200亿,但每次推理仅激活其中约120亿参数,在效率与精度之间取得平衡。Super VL 由英伟达从其最大推理模型 Nemotron 3 Ultra 蒸馏而来,在指令跟随、工具调用、多步骤业务流程及图像分析等任务上,据称仅用约五分之一的参数量便能匹敌 Ultra 的准确率。
在性能基准测试方面,Super VL 在 Hermes 和 LangChain 的智能体评测中得分超过 Nemotron 3 Ultra,并在编程基准 SWE-bench 和 Terminal-Bench 上优于前代 Nemotron 3 Super。英伟达援引 Artificial Analysis 排行榜数据称,在单张 GPU 上,Super VL 对同等规模开放模型的吞吐量最高可达5倍。EXO Labs 在 DGX Spark 上的独立测试也显示,在所有参测模型中,Super VL 是唯一同时兼顾更高精度与更快速度的选项。
为降低显存占用与推理延迟,英伟达对 Super VL 采用自研 NVFP4 格式进行4位量化压缩。在 Blackwell GPU 上,模型可全程以4位精度运行;在旧款显卡上则仅对权重进行4位存储,计算仍以16位精度完成,敏感层保留更高精度以防止质量损失。配合英伟达推理软件 Dynamo,Super VL 可在16块 B200 GPU 上同时服务的并发用户数提升8倍,首个 token 的响应时间缩短85%。
在视觉理解能力上,Super VL 无需额外的独立视觉模型,即可解析表格、图表、多页 PDF 及视频内容。在图表理解基准 CharXiv 上,Super VL 得分达80.8%,远超前代 Nemotron 3 Nano Omni 的63%;若允许模型同时运行 Python 代码,得分进一步提升至84%。在 OCRBench v2 排行榜上,该模型也跻身开放模型前列。这一能力使其特别适合需要跨文档关联信息、自动生成报告的企业场景。
与 Super VL 同步发布的 Bolt 74B-A9B 24GB 是面向本地设备的精简版本,采用混合专家架构,74亿总参数中每步仅激活9亿,并通过激进的2位量化将显存需求压缩至24GB。该模型支持多步骤任务、工具调用与网络搜索,可在英伟达 RTX Spark、DGX Spark、GeForce RTX PC 及 RTX PRO 工作站上运行,兼容 llama.cpp、Ollama、LM Studio 和 vLLM 等主流推理框架。不过,24GB 显存门槛对普通消费者而言仍属高端配置,本地智能体目前主要面向专业用户群体。
英伟达在开放模型权重的同时,也公开了训练数据集与 NeMo 框架的 Python 训练流程,供企业基于自有数据进行微调,并在自有服务器上部署,以规避对外部模型提供商的依赖。目前已有数十家机构参与 Super VL 的微调工作。然而,无论是量化加速、Dynamo 推理优化还是 LiLiCorr 推测解码方法,均深度绑定英伟达自家硬件生态,这意味着开放模型策略在很大程度上也是英伟达推动芯片与系统销售的重要杠杆。
要点
- Nemotron 3.5 Super VL 拥有1200亿参数但每次仅激活120亿,在保持高精度的同时实现高效推理,据称在同等规模开放模型中吞吐量领先最高5倍
- Super VL 原生支持 OCR、表格、图表、多页文档及视频理解,无需额外视觉模型,在 CharXiv 图表基准上得分80.8%
- Bolt 74B-A9B 24GB 将本地智能体能力带入高端 PC 与工作站,但24GB显存门槛使其主要面向专业用户而非普通消费者
- 英伟达开放模型权重与训练方案,但性能优化深度绑定 Blackwell GPU 及 Dynamo 等自家软硬件生态,开放策略与硬件销售战略高度协同
- Super VL 由英伟达联合 Mistral AI、Perplexity、Black Forest Labs 等机构共同开发,已有数十家组织参与微调
原始标题:Nvidia's Nemotron 3.5 Super VL is an open model built to run enterprise AI agents nonstop
本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。