生成的世界也能交互！牛津大学&莫纳什大学&布里斯托大学等团队提出交互式视频世界模型Oneira

最近，来自牛津大学&莫纳什大学&布里斯托大学的团队提出了交互式视频世界模型 Oneira，将这类模型从开放式的生成走向开放世界的交互。

现有的视频世界模型已经能够随着镜头的移动不断生成新的场景，但智能体在其中通常只能导航，或进行一些简单的交互。Oneira 通过 Coding Agent 维护的 World State Table 记录场景中的物体及其状态。无论是输入图像中已有的物体，还是镜头移动时新生成的物体，Oneira 都能精确地改变它们，并让改变后的状态在后续视频中持续保留。

本文的第一作者是杨昕迪，现为澳大利亚莫纳什大学博士生，博士导师是黄田津教授和蔡剑飞教授，主要的研究方向是视频生成模型和世界模型。

• Project Page: https://madaoer.github.io/projects/oneira/
• Paper: https://arxiv.org/abs/2610.01614
• Code: https://github.com/Madaoer/Oneira

引言

视频世界模型近年来取得了巨大进展，已经能够支持导航和简单的交互。然而，相信大家在使用这些模型时会发现，当需要改变场景中的某个特定物体时，模型常常作用在错误的对象上。即使交互对象正确，镜头移开再返回之后，物体的变化也常常消失。

研究团队认为，这一局限源于现有模型没有单独记录世界的状态。场景中有哪些物体、哪些物体发生过变化，都只存在于生成的画面和上下文中。因此，模型难以区分场景中的各个物体实例，只能依靠文本描述推断要交互的对象。交互的结果也只存在于生成的画面中，随着视频的推进容易丢失。游戏引擎和传统模拟器虽然能精确地记录每个物体的状态，但场景和物体都需要预先构建，无法随着生成的内容扩展。

为突破这一局限，研究团队提出了交互式视频世界模型 Oneira，将“世界中发生了什么”与“画面如何呈现”分开处理。

前者由 Coding Agent 负责，它通过 World State Table 记录场景中每个物体的位置和状态。给定一个动作或目标后，Coding Agent 先读取 World State Table，确定要交互的物体并规划交互，再将交互的结果写回表中。对于镜头移动时新出现的物体，Coding Agent 会在生成的画面上调用 3D 感知工具，得到它的 3D BBox，再将其加入表中。因此，World State Table 能够随着生成的内容不断扩展，生成画面中新出现的物体也可以直接进行交互。

后者交由 Video Generation Model 完成。Engine 先将 World State Table 渲染为简化的条件视频，真实的外观、动作和交互细节再交由 Video Generation Model 补全。

实验结果表明，Oneira 能够精确地改变指定的物体，并在长视频中持续保持改变后的状态。这一成果验证了通过 World State Table 单独记录世界状态、让生成的世界真正可交互的可行性。

方法

在这项工作中，研究团队提出的 Oneira 由 Coding Agent、World State Table、Engine 和 Video Generation Model 四部分组成。

如上图所示，Coding Agent 理解目标并规划交互，Engine 根据规划更新 World State Table 并将其渲染为条件视频，Video Generation Model 再根据条件视频生成真实的画面。每段视频生成之后，其最后一帧和更新后的 World State Table 作为下一段的起点。

具体来说，Coding Agent 调用现成的 3D 感知模型，从输入图像构建 World State Table。表中只记录与交互相关的信息，包括可行走的地面区域，以及每个物体的语义标签、3D BBox 和交互状态。物体的外观不写入表中，交由 Video Generation Model 生成。

对一个物体的交互可能同时改变其他物体的状态。以上图为例，目标是“拿起左下角的苹果”。Coding Agent 结合 World State Table 和当前画面，确定要拿起的是哪一个苹果以及在哪个 chunk 执行（每段约 10 秒的视频划分为 8 个 chunk）。它还推断出另外两个苹果会随之滚落，并把这两个苹果和目标一起写入规划。随后，Engine 根据规划的动作更新 World State Table，把这三个苹果都标记为离开原位，其余物体保持不变。每次交互只把结果写入表中，苹果怎样移动、滚到哪里，都交由 Video Generation Model 依据运动先验生成。另外两个苹果静止后，Coding Agent 会从生成的画面中重新登记它们的位置，并把新出现的梨也加入表中。

在条件视频中，每个物体以一个彩色方框表示。方框颜色的变化表示物体状态的改变，方框消失则表示物体离开了原来的位置。每生成一段视频，Coding Agent 都会在新的画面上调用同一套 3D 感知工具，把新出现的物体加入 World State Table，因此可交互的物体会随着探索不断增加。之前改变过的物体状态也会一直保留在表中，镜头返回时画面仍然保持改变后的状态。

最后，Video Generation Model 以首帧、条件视频和每个 chunk 的文字描述为条件生成当前段的视频。条件视频中的网格和彩色背景提示相机的运动，3D BBox指明交互的对象和发生时间，文字描述则说明交互的类型。当镜头回到之前到过的位置时，模型还会参考当时的画面作为记忆帧。3D BBox只用颜色表示状态，与物体的类别无关，因此模型也能对训练中未见过的物体类别进行交互。

实验结果

实例级交互

长程状态保持

定量结果

在实验环节，研究团队构建了评测集 InteractionBench，包含 100 个交互测例和 50 个记忆测例，并与 MiniMax-H3 Ref2VA、LingBot-World-V2、YUME 1.5 和 AlayaWorld 进行了定性和定量的对比。

如图和表所示，在交互测例上，Oneira 在交互是否发生、时机是否准确和对象是否正确三项指标上均取得最优结果，分别比最强的基线高出 29、19 和 29 个百分点。在包含多个相同物体的场景中，基线模型常常作用在错误的物体上，或同时改变多个物体，而 Oneira 只改变指定的物体。

在记忆测例上，镜头离开并返回同一位置后，Oneira 的 PSNR 和 SSIM 分别提升 93% 和 83%，状态保持率提升 18%。在 VBench 的视频质量指标上，Oneira 也保持在最好或接近最好的水平。

下面展示更多的实验结果。

与生成内容开放式交互

多步交互

更多交互的例子

结论

虽然视频世界模型已经能够生成可供导航的场景，但它们缺少对世界状态的单独记录，交互常常作用在错误的对象上，改变后的状态也容易丢失。研究团队提出了交互式视频世界模型 Oneira，通过 Coding Agent 维护的 World State Table 记录场景中的物体及其状态，从而能够精确地改变指定的物体，并持续保留改变后的状态。实验结果验证了 Oneira 在交互准确性和长时一致性上明显优于现有方法。