General Intuition等机构开源MIRA，用RAE构建实时多玩家交互世界模型

当前，生成式世界模型正从单智能体视觉预测迈向多智能体实时交互式模拟，在游戏、机器人和自动驾驶等场景中，世界模型不仅要预测未来画面，还要正确响应动作，保留物理因果关系，并在长时间响应中保持稳定。现有可交互世界模型多采用单玩家视角，将其他参与者归为环境静态背景，无法精确归因场景变化与交互影响，这使它们难以支持自博弈、多智能体训练和人类实时介入。

针对这一问题，本文介绍一篇由General Intuition与Kyutai等机构联合完成的MIRA框架。该方法基于冻结DINOv3特征的表示自编码器构建语义紧凑且平滑的潜空间，并提出扩散强制训练策略与实时自回归推演解耦，仅以低帧率周期性采样更新潜变量，再利用因果时空Transformer融合多玩家当前动作流与历史上下文潜状态。实验结果表明，MIRA在10,000小时《火箭联盟》多人数据集上实现了分钟级乃至小时级的长时连贯推演，在长期物理交互与跨视角一致性测试中显著优于单智能体基线与像素级扩散模型。

论文题目： Multiplayer Interactive World Models with Representation Autoencoders 文章链接： https://arxiv.org/abs/2607.05352 代码仓库： https://github.com/mira-wm/mira 项目主页： https://mira-wm.com

世界模型的核心目标在于建立环境动态与智能体动作之间的映射关系，即根据当前观测与动作预测未来状态。在单智能体设定下，该任务通常被简化为：给定某一玩家或机器人的历史观测与动作序列，模型需生成合理的后续观测。然而，现实世界本质上是一个多智能体系统，车辆之间相互影响，人类彼此协作或竞争，多台机器人共同占据同一物理空间。若模型仅控制单个动作流，而将其他参与者悉数归为“环境背景”，则其将无法回答一个更为根本的问题：当其他智能体改变自身策略时，整个系统的演化轨迹将如何响应？

如上图所示，MIRA 的输入不是单个玩家的第一视角，而是四名玩家各自的历史视角和动作流。模型需要同时生成四个玩家未来看到的画面，并让这些画面对同一个比赛状态保持一致。例如球的位置、车辆碰撞、进球动画、计时器和比分都必须在不同视角中对齐。这个任务比单玩家可控视频生成更难，因为它同时要求视觉生成、动作归因和跨视角物理一致性。

二、构建数据集

MIRA 的训练数据集源自约 10,000 小时 2v2 《火箭联盟》对局记录，所有对局均由游戏内置机器人通过自博弈方式生成，不含任何人机交互数据。每场对局同步录制四名玩家的第一人称视角视频，并将视频帧、玩家动作序列与底层物理状态严格对齐至同一时间轴，从而为多人世界模型的训练提供三者联合对齐的监督信号。

如上表所示，对于每位玩家，作者同步记录三类时间对齐的数据流：游戏视频、完整物理状态以及机器人动作指令。动作数据按三级粒度保存，以满足不同下游任务需求：(a) 策略网络的原始连续输出（即 Nexto 的原始动作）；(b) 经映射后实际发送至游戏引擎的键盘按键指令；(c) 引擎最终采纳的物理执行动作。本文所述世界模型基于层级 (b) 进行训练，其余两层用于一致性验证。

三、方法

本文方法的核心目标是构建一个面向高度动态、复杂物理交互环境的实时多人世界模型。上图展示了 MIRA 方法的整体流程图。MIRA 首先将四名玩家的当前观测片段编码为潜空间表示，并以此填充一个固定长度的上下文窗口。随后，潜空间世界模型以 10 Hz 的频率逐帧地自回归预测未来状态，每一步均以四名玩家的动作流为条件。每个预测得到的潜变量经编解码器解码后生成两帧视频画面，从而将最终输出帧率提升至 20 Hz。每生成一个新潜变量，即将其添入上下文窗口，并移除窗口中最旧的潜变量，由此构成滚动更新的上下文机制，支撑模型在持续交互中实现长时间稳定推演。

3.1 基于冻结DINOv3的自编码器

直接在像素空间中进行未来预测存在两方面局限：一方面，模型的大量参数将被消耗于高频纹理细节的重建，而非因果动态的学习。另一方面，逐帧像素级生成也严重制约了实时推演的可行性。为此，MIRA 采用视频表示编解码器，在冻结的自监督视觉编码器 DINOv3-L[1] 所提取的特征之上构造压缩潜空间，而非从头学习常规 VAE 的潜变量，从而遵循表示自编码器的核心思想[2]。

上图展示了编解码器的整体编码与解码流程。在编码阶段，模型对每一帧视频提取 DINOv3-L 各中间层的特征，并对选定层的输出进行聚合。设 为第 层的 patch 特征， 为选取的层索引集合，则聚合特征定义为：

其中， 。额外保留最深层 旨在维持语义抽象能力，同时各中间层特征补充空间细节，使后续压缩保留丰富的信息层次。

解码端采用因果时空 ViT 结构，首先将潜变量在空间上上采样回 DINOv3 的 patch 网格，随后分别执行空间双向注意力与时间因果注意力以重建视频帧。每个潜帧经时间上采样后对应两帧输出图像。编解码器的训练联合优化三项损失：L1 像素重建损失、LPIPS 感知损失，以及 P-DINO 一致性损失：

3.2 生成目标

MIRA 采用流匹配（Flow Matching）作为基础生成目标。设 为真实潜变量， 为标准高斯噪声，定义从噪声到数据的线性插值路径 。模型 以当前上下文与动作为条件，预测该路径的速度场 ，其训练目标为：

为缓解自回归展开中训练与推理的偏差，作者采用扩散强制（Diffusion Forcing）策略。训练序列中的每一帧被分配一个独立采样的扩散时间 ，使得同一序列中各帧的加噪程度各不相同。在推理效率方面，作者引入渐进式自蒸馏，将多步采样过程蒸馏为少步采样。给定时间步 ，模型首先从 经一步预测到达 ，随后定义两步平均速度目标：

3.3 用于多玩家控制的条件机制

MIRA 在潜空间中将四名玩家的视角沿高度方向拼接为一个统一的网格，并由世界模型一次性联合预测全部视角。MIRA通过自适应层归一化将条件信息注入每一 Transformer 模块。对于第 个模块的输入激活 ，AdaLN 的形式为：

其中， 与 为由 经线性层预测的缩放与偏移参数， 为标准层归一化。条件向量广播至所有空间位置，使每个视角均能感知全部玩家的动作，模型需自行判别哪些动作影响当前视角、哪些仅在其它视角生效。

四、实验结果

论文旨在系统验证 MIRA 在长时稳定推演、多视角物理一致性、实时交互响应与动作可控性之间的平衡能力。作者采用自建的《火箭联盟》2v2 数据集，包含约 10,000 小时干净对局记录（82,983 场匹配，折合 331,932 段玩家视角）。模型训练采用两阶段策略：首先在单玩家数据上进行预训练，随后在多人数据上进行联合微调。推理阶段，模型在单张 Nvidia B200 GPU 上以 20 FPS 实时生成四名玩家的同步视角画面。所有对比模型均在相同数据子集与训练步数下进行评估，评价体系涵盖生成分布质量（FID、FVD、FDD）、像素级重建保真度（PSNR、SSIM）与感知相似度（LPIPS、P-DINO）、物理状态可读性、动作可控性（ARR）以及人类偏好实验，以全面衡量模型的视觉真实感、物理一致性与控制响应能力。

4.1 定量实验

上表通过对比潜空间与像素空间两种预测空间下的世界模型性能，验证了 MIRA 采用视频表示编解码器的必要性。实验设置了三种对比条件：MIRA 的潜空间方法（Latent）、直接基于像素的流匹配模型（Pixels, plain），以及额外引入 JiT 线性瓶颈的像素空间模型（Pixels, JiT）。在生成质量方面，潜空间模型在 gFID/gFVD/gFDD 三项指标上分别达到 10.7、163.1、0.55，而最优的像素空间模型（JiT）仅为 81.0 、961.2、17.05，差距接近一个数量级。这表明像素空间生成中大量动作因果信息会在自回归推演中丢失。

4.2 消融实验分析

上表对比了三种特征提取器配置对编解码器及下游世界模型性能的影响。结果表明，从头训练的特征提取器在 PSNR 和 SSIM上优于冻结方案，但其下游世界模型的生成质量却大幅落后。加入 DINO 蒸馏虽能部分缓解差距（gFID 降至 15.7），但仍未达到冻结预训练特征的水平。

4.3 单玩家与多玩家训练预算的分配策略

上图探讨了在固定总计算预算下，如何最优分配单玩家预训练与多玩家联合训练之间的资源比例。实验以单玩家模型 1.6M 玩家视角（100k 步）为基准，横轴为单玩家训练步数占总步数的比例，纵轴为 gFID。结果显示，纯多人从零训练（0% 单玩家占比）在该预算下完全失效，gFID 显著高于其他配置，归因于多玩家每步处理四倍数据量，模型难以同步学习基本动态与多玩家交互策略。随单玩家预训练比例提升，gFID 迅速下降。纯单玩家模型虽在单视角质量上略优。单玩家预训练的作用在于提供高质量参数初始化，使模型先习得通用视觉与物理动态。

4.4 可视化分析

上图通过注意力热力图可视化了多人世界模型中空间注意力在四个玩家视角之间的分布模式。图中以第一列生成的四个玩家视角为基础，选取玩家1的车辆、球和计时器作为查询目标，分别展示其在其他视角中的注意力激活强度（暖色表示高注意力，冷色表示低注意力）。实验结果显示，查询token能够跨视角定位到同一物体的对应位置。查询玩家1车辆时，其在其他视角的可视区域均出现显著激活，超出视野时对应区域保持冷色。查询球时，四个视角的球体附近均呈暖色，表明模型建立了对共享场景元素的一致空间表征。查询计时器时，注意力集中在各视角顶部的 HUD 区域。表明模型通过注意力机制主动建立了跨视角的物体级对应关系，为多人模型在目标、碰撞事件上的跨视角一致性提供了可解释的内在依据。

4.5 失败案例分析

上图展示了单玩家世界模型在推理过程中出现的一类典型物体融合失效现象。画面左侧一辆蓝色汽车与球体重叠后，随球体移开而未能恢复为独立物体，其表征在自回归展开中被逐步衰减或混淆，最终丢失对该物体的追踪。论文将该失效归因于单玩家模型的信息瓶颈：物体在上下文窗口中长期缺乏更新时，其表征难以维持。值得注意的是，该现象在多玩家模型中未出现，因多玩家模型的多视角输入可为目标物体提供连续空间位置约束，即使某视角中物体被遮挡，其他视角仍能提供其位置信息，从而防止表征错误合并。

五、总结

本文提出的 MIRA，是一个面向多玩家实时交互场景的世界模型系统。其核心在于不再将其他玩家视为不可控的环境背景，而是将四名玩家的视角与动作流统一纳入同一个潜空间世界模型。MIRA借助表示编解码器（RAE）、扩散强制训练、蒸馏采样以及多人联合条件化等机制，支撑长时间稳定的自回归推演。RAE 潜空间在生成质量与可控性上相比像素空间基线提升了一个数量级以上。本篇工作的核心意义在于它将可交互世界模型的研究边界从单玩家视觉控制拓展至多玩家、动作条件化的共享物理世界建模，为后续多智能体系统的训练与评估提供了一个更贴近真实交互环境的生成式平台。

参考

[1] Oriane Siméoni, Huy V. Vo, Maximilian Seitzer, Federico Baldassarre, Maxime Oquab, Cijo Jose, Vasil Khalidov, Marc Szafraniec, Seungeun Yi, Michaël Ramamonjisoa, et al. DINOv3. arXiv preprint arXiv:2508.10104, 2025.

[2] Boyang Zheng, Nanye Ma, Shengbang Tong, and Saining Xie. Diffusion transformers with representation autoencoders. arXiv preprint arXiv:2510.11690, 2025.

Illustration From IconScout By IconScout Store

6 位不同来路的具身创业者闭门聊天局

北京时间8月25日(周二) 晚20:00截止报名

详情点击图片跳转

9月28日晚@美国匹兹堡

「IROS 2026 群星闪耀 精英晚宴」

免费报名，期待线下见面！

北京时间9月25日(周五) 12:00截止报名

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈