Agent / 官方
面向全模态生成的统一推理服务框架
vLLM-Omni 是由 inclusionAI 主导、基于 vLLM 扩展而来的全模态模型推理与服务框架，于 2025 年 11 月正式进入 vLLM 社区，并在 2026 年持续迭代至 0.30.0 版本。该框架突破了原始 vLLM 仅支持文本自回归生成的局限，将支持范围扩展至图像、音频、视频及机器人动作等多种模态，同时兼容扩散 Transformer（DiT）等非自回归架构。在性能层面，vLLM-Omni 继承了 vLLM 高效的 KV 缓存管理机制，并引入流水线阶段重叠执行、基于 OmniConnector 的全解耦调度以及动态资源分配策略，以实现高吞吐量服务。框架提供 OpenAI 兼容 API、全双工实时流式服务，并支持 Qwen3-Omni、MiniCPM-o 4.5、MiniMax H3、π0.5 等主流开源模型，覆盖 CUDA、ROCm、NPU、XPU 等多种硬件平台。
vLLM-Omni 的核心定位是将原本专注于文本大语言模型的 vLLM 推理引擎，升级为能够处理文本、图像、音频、视频与动作五类模态的统一服务运行时。2025 年 11 月，vLLM 社区正式发布 vllm-project/vllm-omni 仓库，标志着全模态服务能力被纳入官方生态。此后 inclusionAI 团队持续推进版本迭代，并于 2026 年 10 月发布技术报告，系统阐述了该统一运行时的设计理念与工程实现。
在架构层面，vLLM-Omni 引入了异构流水线抽象，能够在同一框架内协调自回归（AR）模型与扩散 Transformer（DiT）等并行生成模型的混合工作流。0.30.0 版本新增了以引擎持有会话为核心的全双工服务框架，支持跨阶段原生 KV 缓存与多模态载荷传输，并通过 Mooncake AR-to-DiT 切换机制和 NIXL 连接器实现高效的阶段间数据流转，显著降低了多阶段生成任务的端到端延迟。
性能优化方面，vLLM-Omni 在继承 vLLM 高效 KV 缓存管理的基础上，进一步引入了流水线阶段重叠执行、扩散请求级批处理、异步输出物化以及分布式逐层扩散卸载等技术。0.28.0 版本实现了统一的 AR/DiT 分页 KV 缓存运行时，0.26.0 版本则支持 MiniMax H3 的视频与音频联合生成。这些优化使框架在高并发场景下能够维持较高的吞吐量，同时兼顾实时交互需求。
模型生态方面，vLLM-Omni 已支持多个主流开源模型系列。全模态模型涵盖 Qwen3-Omni、MiniCPM-o 4.5、Cosmos3、HunyuanImage 和 BAGEL；TTS 模型包括 Qwen3-TTS、Tencent AuK 和 CosyVoice3；扩散生成模型涵盖 MiniMax H3、LingBot World、LTX-2.5 和 Wan2.2；机器人策略与动作模型则支持 π0.5、GR00T-N1.7 和 InternVLA-A1 等。框架通过与 Hugging Face 的无缝集成，降低了模型接入门槛。
在强化学习训练侧，配套项目 VeRL-Omni v0.2.0 已集成 vLLM-Omni 作为推理后端，支持基于请求级与步级批处理的扩散强化学习，并重构了 Qwen3-Omni 的多模态训练流程，涵盖 DPO 与 GSPO 两种对齐方法。硬件兼容性方面，框架覆盖 NVIDIA CUDA、AMD ROCm、摩尔线程 MUSA、华为昇腾 NPU 及英特尔 XPU，其中 0.30.0 版本已验证在 NVIDIA Blackwell 和昇腾 950 上的实时 MiniMax H3 Turbo 推理能力，体现了对国产硬件生态的积极适配。
要点
- vLLM-Omni 将文本、图像、音频、视频与机器人动作五类模态统一纳入单一推理服务框架，并同时支持自回归与扩散 Transformer 两类架构。
- 0.30.0 版本引入引擎持有会话的全双工框架与跨阶段 KV 缓存传输机制，显著提升了多阶段多模态生成任务的调度效率。
- 框架已支持 Qwen3-Omni、MiniMax H3、π0.5 等数十个主流开源模型，并提供 OpenAI 兼容 API 与全双工实时流式服务接口。
- 硬件覆盖范围广泛，包括 NVIDIA CUDA/Blackwell、AMD ROCm、华为昇腾 NPU 和英特尔 XPU，具备较强的跨平台部署能力。
- 配套的 VeRL-Omni 项目将 vLLM-Omni 引入多模态强化学习训练场景，支持扩散模型的 RL 对齐训练。