在 SageMaker AI 上用 vLLM-Omni 构建实时语音应用

语音代理、无障碍工具和客服助手等应用对响应延迟极为敏感，任何明显的静默停顿都会严重影响用户体验。AWS 此次推出的方案通过流式推理解决这一痛点：模型在生成完整语音之前即可开始向客户端推送音频片段，从而将首字节延迟压缩到最低。整个部署流程围绕 Amazon SageMaker AI 的双向流传输能力展开，开发者只需克隆示例代码库，即可快速复现从文本输入到音频输出的完整链路。

vLLM-Omni 是 vLLM 的扩展版本，将原本专注于文本生成的框架延伸至多模态领域，支持处理和生成文本、音频、图像及视频。其异构流水线抽象可协调包含自回归阶段与扩散阶段的多步骤模型工作流，同时提供流式输出和兼容 OpenAI 的 API 接口。AWS vLLM-Omni DLC 在此基础上封装了 SageMaker AI 所需的路由中间件，使开发者能够直接通过托管推理服务访问这些能力，而无需手动配置底层运行时环境。

在架构层面，SageMaker 双向流传输通过 HTTP/2 上的全双工 WebSocket 实现，客户端连接至 SageMaker Runtime 端点的 8443 端口。推理 Sidecar 将连接转发至容器内 vLLM-Omni 的原生 WebSocket 路由。客户端发送会话配置和文本事件后，Qwen3-TTS 通过同一连接返回音频生命周期事件和 24 kHz PCM 音频块。本示例使用的路由为 v1/audio/speech/stream，是 vLLM-Omni 暴露的原生 WebSocket 路由之一。

端点配置引入了 SageMaker 实例池机制，允许开发者按优先级排列多种兼容实例类型。系统默认优先尝试 ml.g6.xlarge，在容量不足时依次回退至 ml.g6e.xlarge、ml.g5.xlarge 或 ml.g4dn.xlarge。需要注意的是，SageMaker 在创建端点时会验证所有配置池条目的配额，因此每种实例类型都需要有可用配额。开发者可通过 --instance-types 参数限制实例池范围，以满足配额、成本和性能方面的具体要求。

本教程与系列前作形成完整的语音处理闭环。前作演示了语音管道的输入侧：麦克风音频流入 Voxtral-Mini-4B 实时语音转文本模型并返回转录事件。本文则补全了输出侧：将文本发送至 Qwen3-TTS 并通过 vLLM-Omni DLC 流式返回生成的语音。两个端点之间的编排逻辑由开发者自行实现，整体架构具备良好的模块化扩展性，适合集成到现有的对话系统或智能客服平台中。

部署前需满足若干前置条件，包括配置了 AWS CLI 的账号、Python 3.12 及以上版本、SageMaker AI 执行角色，以及至少一种池化实例类型的端点配额。此外还需安装 Boto3 1.40.0 或更新版本，以及 SageMaker Runtime HTTP/2 Python 客户端 0.4.0 版本。示例代码位于开源仓库的 03-features/bidirectional-streaming-vLLM-Omni 目录下，包含部署脚本、共享流传输模块和 Gradio 客户端，可直接用于复现完整工作流。

要点

• vLLM-Omni DLC 将 vLLM 扩展至多模态推理，支持音频、图像和视频的流式生成，并通过 SageMaker 路由中间件实现托管部署。
• SageMaker 双向流传输基于 HTTP/2 全双工 WebSocket，模型在生成完整响应前即可推送音频片段，有效降低实时语音应用的感知延迟。
• 实例池机制允许按优先级配置多种 GPU 实例类型，在提升可用性的同时需注意每种类型均需满足配额要求。
• 本方案与 Voxtral 语音转文本端点配合可构建完整的语音交互管道，输入输出两侧均支持流式处理。
• 示例代码库提供可复现的完整部署流程，开发者可直接基于 Gradio 应用验证端到端的流式语音效果。