实时世界模型的工程化探索

Runway 本月发布的 GWM Worlds 2 研究预览版，将实时交互仿真能力带入了世界模型领域。该系统以 720p 分辨率、24 帧每秒的规格持续输出视频，并同步生成 48000 Hz 音频，整体架构被 Runway 定义为「自回归扩散」模型——自回归描述的是模型随时间逐帧生成内容的方式，而非一次性渲染整段视频片段。Runway 目前估值约 53 亿美元，今年 2 月完成了 3.15 亿美元融资，其首款世界模型产品 GWM Worlds 于去年 12 月上线。

WorldPrompt 是 GWM Worlds 2 的核心差异化特性，本质上是一套针对生成世界的控制层协议。用户可以固定场景的初始帧与环境参数，然后通过带时间戳的事件序列来驱动角色行为、摄像机运动和环境变化，甚至可以在运行时实时插入新的提示指令。Runway 首席研究科学家 Robin Kahlow 将其类比为游戏中的 NPC 控制机制：「你可以对场景中的所有主体进行非常细粒度的控制，就像游戏里的非玩家角色会主动走向你并开口说话一样。」

值得注意的是，WorldPrompt 是一种提示机制，而非编程语言，这意味着它不具备 Minecraft 或 Roblox 那样的脚本能力与状态控制能力。Runway CTO Kamil Sindi 认为这种设计本身也有其独特价值：「你可以按需创建可提示的世界，视频与音频实时同步，横跨各种不同的领域和环境，这不是遥远未来的假设，而是现在就能做到的事。」不过 Kahlow 也坦承，模型对复杂指令的遵循能力仍不稳定，移动类动作的可靠性相对较高，而更复杂的物理规则或角色能力设定则仍存在明显缺陷。

将视频生成模型改造为实时运行时，面临两大核心工程挑战。其一是改变生成方式，从一次性生成整段视频转变为逐帧实时生成；其二是大幅提升生成速度以满足实时播放需求。Runway 的技术路径分三步走：首先对基础音视频模型进行 WorldPrompt 格式微调，使其能够理解并遵循新的输入格式；其次进行自回归后训练，赋予模型逐帧生成能力；最后通过蒸馏方法压缩模型，将扩散步骤从约 50 步大幅削减至 4 步左右，以换取实时性能，代价是一定程度的质量损失。

实时自回归生成带来了新的系统性风险。Runway 联合创始人兼联席 CEO Anastasis Germanidis 指出，错误累积是自回归模型最大的挑战：生成帧被反馈回模型以生成下一帧，任何微小误差都会随时间不断叠加放大。与此同时，「无限生成」场景下的上下文管理同样棘手——如何决定保留哪些历史上下文、丢弃哪些不重要的信息，直接关系到 GPU 显存是否会溢出。长期记忆缺失目前仍是开放性研究难题，模型无法在长时间交互中保持完整的场景一致性。

在更宏观的竞争格局中，谷歌 DeepMind 的 Genie 3 同样支持 720p、24 帧每秒的生成，但官方明确表示目前仅能支持「数分钟的连续交互，而非数小时」。此外，Odyssey-2 Pro 和 World Labs 的 RTFM（实时帧模型）也在同一方向上积极推进。各方项目均面临延迟、连续性与物理合理性等共同挑战。Germanidis 以足球仿真为例指出，由于训练数据中成功进球的视频远多于失败尝试，模型在渲染不同结果时的置信度存在明显偏差，这折射出世界模型在因果推理与反事实场景生成上的深层局限。

要点

• WorldPrompt 通过时间戳事件序列实现对生成世界中角色、摄像机和环境的细粒度控制，是 Runway 区别于竞争对手的核心差异化能力。
• GWM Worlds 2 采用微调、自回归后训练与蒸馏压缩三阶段工程路径，将扩散步骤从约 50 步压缩至 4 步，以实现 720p/24fps 的实时生成。
• 错误累积、上下文管理和长期记忆缺失是当前实时自回归世界模型面临的三大核心技术瓶颈，业界尚无完整解决方案。
• 训练数据分布不均衡会导致模型在因果推理和反事实场景生成上出现系统性偏差，物理合理性仍是世界模型的长期挑战。
• 包括谷歌 DeepMind Genie 3、Odyssey-2 Pro 和 World Labs RTFM 在内的多个团队正在同一赛道竞争，实时交互世界模型正从研究预览走向实用化。