ForgeWM：如何让游戏世界模型在一步之内学会"听懂"你的操作

你有没有想过这样一件事：一个AI要在你按下"W"键的一瞬间，实时生成出你的角色向前走一步的画面，而且不能卡顿，不能延迟，还得看起来像真的游戏画面。

这听起来好像没什么了不起的。但如果我告诉你，市面上大多数能做到"实时"的AI视频生成模型，代价是要么画面模糊得像蒙了一层雾，要么你按了向左转，画面却诡异地往右偏，你可能就会开始理解这件事到底有多难了。

这就是ForgeWM要解决的问题。它来自CUHK、腾讯PCG、复旦大学、上海AI Lab等机构的联合团队，目标是造一个能在Minecraft和第一人称射击游戏里，用键盘鼠标或手柄实时操控的视频生成模型，而且只需要一步到四步的去噪计算，就能吐出流畅、可控、清晰的画面。

这件事到底难在哪

先说说背景。

现在生成视频靠的是一种叫扩散模型的技术。

**扩散模型：一种通过反复"去噪"把随机噪声一步步还原成清晰图像或视频的生成模型，通常需要几十甚至上百步计算才能得到一张干净的画面。**

问题就在这个"几十甚至上百步"上。如果每生成一帧画面都要算几十次，那你按下按键到画面反应过来，中间可能隔了几百毫秒，这在游戏里是完全不能接受的延迟。所以研究者们想办法把这个步数压缩到一步、两步、四步，这种技术叫因果蒸馏。

**因果蒸馏：把一个原本需要看到未来画面才能生成当前帧的"双向"模型，改造成一个只能看过去、不能看未来的"单向"模型，同时把生成步数从几十步压缩到几步的训练方法。**

单看这个技术本身，其实已经有不少团队做出了不错的成果，像是Self-Forcing、Causal Forcing这些工作，都在探索怎么把视频生成做得又快又好。

但ForgeWM团队盯上了一个所有人都没太当回事的细节：游戏操作和普通的摄像机运镜完全不是一回事。

想想看，如果你在拍电影，导演可以提前设计好摄像机怎么移动，这个轨迹是连续、平滑、可预测的。但游戏里的操作是什么样的？你可能手指按住"W"往前冲，同时鼠标猛地一甩转身开枪，下一秒又突然松开所有键站定不动。键盘状态是离散的（按或不按），鼠标移动是连续的（转多少度），这两种信号必须和视频画面严格对齐，每一帧、每一个时间片段都不能错位。

如果只用摄像机轨迹去近似这些操作，会发生什么？会发生操作和画面对不上的问题——你按了跳跃，画面里角色却在往前跑。这在一个探索性视频里可能无伤大雅，但在一个号称"交互式"的世界模型里，这就是根本性的失败。

所以ForgeWM的核心挑战，其实不是"怎么把扩散模型压缩到一步"，而是"怎么在压缩的同时，让键盘和鼠标的信号始终精确对应到它该对应的那一小段视频里"。这个信号对齐问题，在生成过程从看"真实历史"切换到看"自己生成的历史"时，会被进一步放大。

这就好比你在训练一个新司机。教练车上有个虚拟方向盘让学员练习，路况是提前录好的，学员的每一个转向指令都精确对应一段固定的路况画面。这时候学得很顺。但真正上路那天，路况是学员自己开出来的，前一秒的失误会变成下一秒的既定事实，学员必须在自己制造的、可能已经跑偏的路况基础上继续开下去。如果教练车训练时用的路况和真实上路的路况分布完全不同，学员上路后大概率会越开越偏。这正是ForgeWM要解决的"训练看到的历史"和"部署时面对的历史"之间的鸿沟。

四阶段怎么把一个模型改造成能实时对话的世界模型

ForgeWM的做法是设计了一套四阶段训练流程，一步步把一个原本"看得见未来"的双向视频生成器，改造成一个只能看过去、只需几步计算就能跑起来的因果模型。

先说这个底子。ForgeWM是在Matrix-Game 2.0这个开源模型基础上改造的，它本身是一个图生视频模型，能接收第一帧图像加上键盘鼠标信号，生成后续视频。ForgeWM保留了它的动作模块设计：离散的键盘状态通过交叉注意力机制注入，连续的鼠标移动则和视觉特征直接融合处理，两条通路互不干扰。

**交叉注意力：一种让模型在处理某个信息时，去参考另一路完全不同信息的机制，这里是让视觉画面的生成过程去"查阅"当前该按了哪些键。**

这个设计选择本身就值得说说。为什么不干脆把鼠标移动也编码成摄像机轨迹，用统一的方式处理？因为游戏操作有它自己的语义，鼠标转90度和摄像机绕着一个点转90度，物理上看起来一样，但在游戏体验上，前者是"你甩了一下手腕"，后者可能对应完全不同的意图。保留这种原生控制接口，是为了让模型学到的是"操作和反应"之间的因果关系，而不是把它简化成纯几何变换后丢掉的信息。

好，接下来看四个阶段具体怎么走。

**第零阶段：域适应。**

这一步很直接，就是把预训练好的图生视频模型，用Minecraft的游戏录像继续训练一遍，让它熟悉这个新的游戏世界长什么样。这时候用的还是双向注意力，也就是说模型在生成某一帧时,可以同时参考前面和后面的画面信息，这样能学得更准更全面。这个阶段训练出来的模型，后面会被冻结下来，充当整个流程里的真实分布的参照标准。

**第一阶段：教师强制的因果训练。**

这一步开始动真格的，把双向注意力换成了因果注意力，也就是每一帧画面只能看到它自己所在的这一小段（论文里叫作"latent chunk"，一个chunk压缩了12帧原始视频），以及更早的chunk，绝对不能偷看未来。

**latent chunk：把连续几帧视频压缩打包成的一个处理单元，ForgeWM里每个chunk对应12帧原始视频画面。**

这里的"教师强制"是什么意思？就是训练时喂给模型的历史画面都是真实、干净的数据，不是模型自己生成出来的。这样做的好处是训练稳定，模型能专心学会"因果执行模式"这件事本身,而不用同时应付自己生成出来的、可能带瑕疵的历史画面。

这个设计选择有点像新手学做菜时先照着菜谱一步步来，食材都是新鲜的、切好的，你只需要专注学会"炒"这个动作本身。如果一上来就让你自己切菜、自己配菜，还要同时学炒菜的火候，大概率什么都学不好。教师强制训练就是把"因果执行方式"这一件事先单独拎出来学扎实。

**第二阶段：因果一致性蒸馏，用来初始化少步数模型。**

这一步是整个流程里技术含量最密集的部分。目标是把原本需要走几十步去噪的模型，压缩成几步就能生成清晰画面的模型。

具体做法是这样的：准备一个48级的噪声梯度网格，每次训练随机挑一对相邻的噪声级别。有一个冻结不动的教师模型，先从较高噪声那一级往较低噪声那一级走一步（用一种叫欧拉步的数值方法），学生模型则要学会直接从高噪声级别一步跳到教师走过之后的那个干净结果，而不需要真的一步步走。

**欧拉步：一种数值计算里常用的、沿着某个方向前进一小步来逼近目标的近似方法，这里指教师模型按照扩散过程的"速度"预测往目标方向挪动一步。**

这样训练出来的学生模型，学会了"跳步"的本事，为后面变成一步或两步生成打下底子。这个阶段依然使用干净的历史画面，这一点保持了和第一阶段一样的训练条件,这也是为什么教师模型的一步跳跃可以在单次前向计算里完成,不需要真的展开一整段自回归生成过程。

**第三阶段：在策略分布匹配，让模型适应自己制造的历史。**

这是压轴的一步，也是解决前面提到的"训练历史和部署历史不一致"这个根本矛盾的关键所在。

这一步让学生模型真正开始自回归自我推演,也就是让它自己生成一段视频,然后用自己刚生成出来的、可能带瑕疵的画面作为后续生成的历史依据,而不再是干净的真实数据。同时,冻结在第零阶段的那个双向域适应模型,充当"真实分布"的裁判,和一个可训练的"伪造"裁判模型一起,给学生模型的输出打分,引导它朝着更接近真实分布的方向调整。

这个设计的巧妙之处在于,它终于让模型直面了它在实际部署时会遇到的真实处境:自己生成的、不完美的历史。前面三个阶段不管教得多细致,如果学生模型从没在训练里见过"糟糕的历史",它上线之后第一次遇到自己生成的瑕疵画面,大概率会不知所措,错误会像滚雪球一样越滚越大。

这就好比一个学生做数学题,前面几百道题老师都给标准答案让你核对着做下一步,你做得很顺。可考试的时候,前一道题你自己算错了,后面所有题目都得基于这个错误答案继续往下算。如果平时训练从来没经历过"基于自己的错误继续做题"这种情况,考场上一步走错,后面全盘皆输。第三阶段就是刻意让模型提前经历这种"基于自己的不完美继续往下走"的场景,这样它上线之后才不会一遇到自己的小瑕疵就彻底崩溃。

最终,ForgeWM训练出三个不同预算的学生模型,分别对应稳定状态下一步、两步、四步的去噪计算量。这里有个细节:一步和两步模型的第一个生成chunk,实际上偷偷用了四步计算,后面才切换到各自的目标步数,这是借鉴了另一项研究提出的"首帧增强"策略,目的是保证视频一开始的画质不掉链子。

部署时怎么用:实时互动和事后补救两条路

模型训练好了,怎么用是另一回事。ForgeWM设计了一套双路径部署方案。

在线互动的时候,用的是匹配目标延迟预算的那个学生模型(一步、两步或四步),追求的是绝对的低延迟响应。

但这里有个现象值得琢磨。研究团队专门做了个实验,把一步模型冻结住,只改变它推理时的去噪步数(比如强行让它跑8步、16步、32步),看看效果会怎么变化。结果发现,画质在两步左右达到峰值,之后就趋于平稳,不再有明显提升,反而是延迟和计算成本线性往上涨。这说明多花的计算量,大部分被用来增强画面的运动幅度,而不是提升方向控制的准确性。

这个发现直接催生了一个新想法:既然事后加更多计算主要是能改善画质,那能不能不重新生成一段全新的视频,而是拿已经生成、玩家已经体验过的那段视频,做一次"精修"?

这就是Replay-Time Refinement,回放时刷新。

**Replay-Time Refinement:在玩家完成一局互动之后,把当时保存下来的生成草稿重新加一点噪声,再用同一个模型多走几步去噪,从而在不改变原本画面构图和视角的前提下提升细节质量的技术。**

这个思路的精妙之处在于,它没有另外训练一个专门的"精修模型",用的就是原来那个一步模型,只是多给它一点计算预算,重新走一遍去噪流程。而且它是从玩家已经看过的那个草稿出发,加一点可控的噪声,再去噪回来,而不是从纯随机噪声重新生成一遍。

这中间的区别其实很关键。想象你打游戏录了一段回放,如果直接用高画质设置重新跑一遍这段游戏,虽然画面会更精致,但因为随机性,你的角色可能走了完全不同的路线,遇到了不同的怪物,这个"回放"其实已经不是你当时经历的那一局了。而Replay-Time Refinement做的是保留你当时真实走过的路线和视角,只是把画面细节擦亮一点,这才是真正意义上的"回放",而不是"重新演一遍"。

实验数据也印证了这个直觉。用LPIPS这个感知相似度指标(数值越低表示两张图越像)来衡量,如果直接用四步模型从头生成一遍新视频,得到的LPIPS是0.6168,而回放刷新方案是0.6155,画质水平几乎一样。但如果用另一个指标Ddraft,专门衡量"生成结果和当时保存的草稿有多像",直接重新生成的偏离度是0.6187,而回放刷新只有0.1970,差了整整三倍多。

**LPIPS:一种用深度神经网络提取的特征来衡量两张图片"感知上"相似程度的指标,数值越低说明两张图看起来越接近。**

也就是说,回放刷新用几乎一样的计算代价,拿到了和四步模型相当的画质,同时把原本的游戏体验完整地保留了下来,不会因为重新生成而"改写历史"。

数据说话:ForgeWM在Minecraft里表现如何

光讲原理不够,得看实际打分。

研究团队拿ForgeWM和另外两个交互式世界模型做了对比:Matrix-Game 2.0(ForgeWM改造的原始底座)和HY-WorldPlay。三个模型都用同样的初始画面和操作轨迹进行1000条配对轨迹的测试。

| 模型 | 画质(IQ)↑ | 参考相似度(LPIPS)↓ | 动作准确率(KCtrl)↑ | 鼠标准确率↑ | 延迟(ms)↓ | 帧率(FPS)↑ |

| Matrix-Game 2.0 | 0.6282 | 0.6443 | 0.9156 | 0.7061 | 370.9 | 32.35 |

| HY-WorldPlay | 0.6133 | 0.6172 | 0.9286 | 0.5818 | 2164.3 | 7.54 |

| ForgeWM-1(一步) | 0.6776 | 0.6529 | 0.9545 | 0.7848 | **168.2** | **72.10** |

| ForgeWM-2(两步) | **0.6865** | **0.6171** | **0.9740** | **0.8268** | 239.7 | 50.31 |

| ForgeWM-4(四步) | 0.6788 | 0.6168 | **0.9740** | 0.8102 | 369.6 | 32.47 |

从这张表能看出几个明显的趋势。

ForgeWM系列在七项质量和控制指标里拿下了六项最优,而一步版本ForgeWM-1的推理速度达到72帧每秒,是所有对比模型里最快的,延迟也压到了168毫秒,只有Matrix-Game 2.0的一半不到,更是甩开HY-WorldPlay十几倍。

值得多说一句的是KCtrl这个指标,它测的是给模型一对完全相反的操作指令(比如向左转和向右转),看模型生成的画面是不是真的朝相反方向运动了。ForgeWM-2和ForgeWM-4在这项上并列第一,达到0.9740,说明它对操作方向的响应是稳定可靠的,不会出现你往左转它却往右偏这种尴尬情况。

研究团队还找了41名志愿者做了一场盲测,同时展示三个模型基于同一初始状态和操作轨迹生成的视频,让参与者在不知道哪个是哪个模型的情况下选出最好的那个。结果ForgeWM在视觉质量上拿到68.8%的偏好票,在动作准确度上是57.6%,在时空一致性上是55.6%,综合偏好份额60.7%,是三者里最受欢迎的。

这套方法不止能用在Minecraft

一个很实际的问题是:这套四阶段训练法,是不是只对Minecraft管用?换个游戏、换个操作方式还灵不灵?

研究团队用同一套流程,套在了一个第一人称射击游戏的场景里,操作方式也从键盘鼠标换成了手柄,包括两个模拟摇杆(移动和视角)加上一堆按钮(开火、瞄准、跳跃、装弹、切枪、近战)。除了把动作模块里处理连续控制信号的输入维度从2维扩展到4维(因为手柄有左右两个摇杆,每个摇杆两个自由度),整个训练流程和网络结构几乎没有改动。

这里有个细节挺有意思的。研究人员发现,如果简单粗暴地用随机权重初始化新增的两个输入通道,这两个通道会因为在训练初期梯度太小而"死掉",完全学不到东西。他们的解决办法是直接从预训练好的通道里复制一份权重过去,让新通道从一个已经"活"起来的状态开始学,而不是从零开始摸索。这就像给新员工分配任务时,与其让他从完全空白开始试错,不如先给他一份师傅的工作模板照着改,这样他才有机会真正上手,而不是在毫无头绪里原地打转。

在七款不同的射击游戏(包括Halo Infinite、使命召唤系列等)上测试,LPIPS得分在0.583到0.693之间浮动,运动幅度和参考视频相比,平均达到1.45倍,说明模型倾向于比实际操作更"用力"地移动,这也是论文坦诚指出的一个待改进的地方。

训练细节和消融实验里的发现

论文附录里做了不少细致的拆解实验,值得单独说说。

研究团队专门做了个实验,把训练到第一、第二、第三阶段的模型,都强行用同一套四步推理流程去跑,看看每个阶段到底给模型带来了什么实质性的提升。

结果显示,第一阶段(教师强制因果训练)本身的LPIPS只是从0.814略微降到0.806,提升非常有限。真正的转折点出现在第二阶段(因果一致性蒸馏),LPIPS直接从0.806跳到0.605,这个提升幅度远超其他阶段。这说明让模型学会"跳步"这件事本身,才是让少步数生成变得可行的关键所在,单纯把注意力模式改成因果式并不足够。

第三阶段(在策略分布匹配)在LPIPS这个指标上其实没有明显提升,甚至略微上涨到0.617,但在Imaging Quality这个无参考画质指标上,却从0.659大幅提升到0.716。这说明第三阶段主要贡献的是让画面看起来更清晰锐利,而不是让生成结果更贴近参考轨迹。这也提醒我们,同一个训练阶段在不同评价维度上的效果可能完全不一样,不能只看一个指标就下结论。

写在后面

读完这篇论文,最触动我的其实是一个很小的细节:研究团队在移植到手柄操作场景时,发现新增的控制通道如果零初始化就会"死掉",这个失败经验被诚实地写进了附录。很多论文只会展示成功的方案,但这里坦白地说明了"直接扔掉旧权重会怎样"和"零初始化又会怎样",两种失败模式都讲清楚了,这种透明度在工程类论文里其实并不常见。

另一个让我反复琢磨的地方是Replay-Time Refinement这个设计。它本质上是在提醒我们一件事:提升质量的额外计算,应该花在什么地方,是很有讲究的。把它花在重新生成一遍上,得到的是一段"更好但不同"的经历;把它花在精修已有的草稿上,得到的是"更好且相同"的经历。这种区分在很多需要"事后优化"的场景里都值得借鉴,不只是视频生成。

论文里还留了一个没解决的问题,模型倾向于比实际操作"动得更猛",这个1.45倍的运动过冲现象,背后到底是训练数据的分布偏差,还是蒸馏过程本身放大了运动信号?这个问题论文没有深挖,但值得继续追问下去。

Q&A

Q1：ForgeWM是什么？

A：ForgeWM是一个面向游戏场景的实时交互式视频生成模型,能够根据键盘鼠标或手柄操作,只用一步到四步的计算就实时生成对应的游戏画面,支持Minecraft和第一人称射击游戏两种场景。

Q2：ForgeWM和普通视频生成模型有什么区别？

A：普通视频生成模型往往需要几十步计算才能生成清晰画面,延迟太高无法用于实时互动。ForgeWM通过四阶段渐进式训练,把生成步数压缩到一到四步,同时保证键盘鼠标信号能精确对应到生成的视频画面,做到低延迟和高可控性兼顾。

Q3：Replay-Time Refinement有什么用？

A：这是ForgeWM提供的一种事后画质提升功能。玩家实时互动时用最快的一步模型保证流畅,互动结束后,系统可以拿保存下来的草稿视频重新加噪声再去噪,在不改变原本视角和场景布局的前提下让画面更清晰,相当于给已经玩过的那段游戏回放做精修,而不是重新生成一段不同的内容。