实时3D世界模型首次支持音效与角色对话

Google DeepMind于2026年10月正式推出Genie 4，作为2025年8月亮相的Genie 3的升级版本。与传统视频生成模型不同，Genie 4并不输出完整视频，而是以逐帧方式实时计算场景，并在计算过程中持续响应用户输入。用户可通过键盘在场景中移动，并借助文本提示引导事件发展，整个交互体验更接近实时游戏引擎而非预渲染内容。

在音频能力上，Genie 4实现了系列首次突破——模型能够为每个生成的世界直接合成背景音效，例如树林中的风声或环境噪音，同时支持角色之间的实时对话生成。DeepMind表示，角色不仅能够相互交谈，还能根据用户输入或场景变化即时作出反应，人物动作的自然度也被列为本次重点改进方向之一。

在技术架构层面，Genie 4以视频模型Gemini Omni为基础，确保世界的视觉质量与行为逻辑。与此同时，其他Gemini模型在后台承担规划职责，持续维护模拟世界的一致性。当用户通过文本提示改变天气等场景要素时，Gemini会将指令适配到当前运行的场景中，并在用户输入间隙自主推进世界的发展，使场景保持合理的演进节奏。

DeepMind还披露了一项将Genie与机器人研究相结合的实验。在测试中，Gemini 4 Argon将下棋任务分解为多个步骤，Genie 4接收这些文本指令后，模拟人形机器人Apollo完成整个对弈过程，全程无需真实机器人参与。DeepMind认为，这一方向有望为机器人和AI智能体提供基于模拟经验的训练环境，而非仅依赖静态数据集。

尽管能力显著提升，Genie 4目前仍被DeepMind定位为早期实验性模型。在短时会话中，世界能够保持较好的一致性，但随着会话时长增加或经历多次复杂提示变更后，视觉细节可能出现漂移，物体也不总能持续存在于场景中。复杂物理交互、精准实时音效以及场景内可读文字的渲染，均是DeepMind正在持续研究的方向。所有生成内容将携带SynthID水印以标识AI来源。

目前Genie 4仅向部分受邀测试者开放研究预览，后续计划向Google AI Ultra订阅用户扩展。DeepMind将Gemini与Genie的结合视为迈向混合世界模型的早期探索——这类模型有望将语言与代码模型的推理能力与像素级模拟相融合，为未来的AI智能体训练和机器人研究开辟新的可能性。

要点

• Genie 4是DeepMind首款能够实时生成背景音效和角色对话的交互式世界模型，标志着世界模型在多模态输出上的重要进展。
• Gemini模型在后台持续规划并维护场景一致性，使世界能够在用户输入间隙自主演进，体现了语言模型与像素级模拟的深度融合。
• DeepMind正在探索将Genie与机器人研究结合，通过模拟训练替代真实机器人实验，有望大幅降低机器人学习的成本与风险。
• Genie 4在较长会话中仍存在视觉一致性问题，复杂物理交互和实时音效精度尚待提升，目前仍处于早期实验阶段。
• 所有Genie 4生成内容将携带SynthID隐形水印，体现了DeepMind在AI内容溯源与安全标注方面的持续投入。