全球首款 ！中国团队把游戏世界模型塞进一张5090，还开源了

一水 发自 凹非寺
量子位 | 公众号QbitAI

不er，印象中非常吃算力的「游戏世界模型」，居然就这样被塞进一张RTX 5090里了？！

而且身上还挂着两个非常诱人的标签：

国产、开源。

就在刚刚，昆仑万维旗下Skywork AI发布Matrix-Game 4.0，据悉这是「全球首款可在单张消费级显卡上实时运行的游戏世界模型」。

快速翻到Demo，坦白讲480p的画质确实还有提升空间，但再看几秒：

诶，不对劲！！

以前常见的游戏世界模型Demo，是玩家按一下方向键，模型接着往前生成画面。世界能逛，场景会动，但底下究竟有没有一套真正运行的游戏，不太好说。

但Matrix-Game 4.0已经不太一样了。

玩家中弹，先掉的是盾牌耐久；盾碎了，才开始扣血；等血量归零，游戏真就结束了。

视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA

好家伙，原来不只是画面在动，背后的游戏逻辑也跟着跑起来了啊。

更离谱的是，这一整套没躺在什么豪华算力集群里。

就一张RTX 5090。

按下键，不到0.15秒画面就有反应；一秒能跑60帧；整套系统占用显存峰值约18.5GiB。

玩法甚至还能改。

让Coding Agent动动游戏代码，原本的计时赛，转眼就能变成拦截目标车辆的追击战。

视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA

一张卡，托起一局由AI实时画出来、又按代码规则运行的游戏。

怎么做到的？

给视频模型套上Harness

这一次，Matrix-Game 4.0没走寻常路。

团队给出的核心判断是：

与其让视频模型隐式记忆世界，不如让游戏引擎显式维护世界。

以谷歌Genie为代表的路线，率先让玩家走进AI实时生成的世界，走到哪里，模型就把画面生成到哪里。

但世界能逛，不等于游戏能玩。

画面偶尔多一棵树、少一扇窗，顶多让人出戏。可要是NPC的位置、玩家的血量、任务的输赢也由模型临场发挥，那还玩啥啊？？

所以比画面穿帮更麻烦的，其实是规则脱缰。

在团队看来，现阶段的视频生成更像一种「符际翻译」，负责把文字、动作和场景信息转成连续画面。

「画」这件事，视频模型确实擅长。

可过去常见的路线，偏要让它既记住整个世界，又算清游戏规则，还得不停往下生成画面。

好家伙，一个模型直接身兼数职，短时间还能撑住，时间一长你懂的。。。

△图片由AI生成

所以到了Matrix-Game 4.0，团队干脆把活儿拆开：

游戏引擎负责把游戏跑对，视频模型负责把画面画好。

这么一拆，世界状态就不再藏在模型生成的像素里，而改由代码明确记录。

即使视觉生成偶尔出现偏差，也不会直接改写玩家血量、道具归属和任务进度等。

团队把这套思路概括为「给视频模型套上Harness」：

1、玩家先用自然语言说出想法，Coding Agent负责把它写成游戏代码；

2、游戏引擎当「裁判」，负责维护世界状态、执行游戏规则，并画出一份不会乱的结构草图；

3、视频模型则当「画师」，照着草图实时生成最终画面。

说白了就是，该确定的交给代码，该发挥的交给AI。

至于这套分工效果如何，直接看Demo。

最开始，引擎输出的还是一片由方块、骨架和简单地形组成的结构画面。

看着多少有点「毛坯房」的意思。

但人物在哪、道具在哪、谁在移动，已经交代得明明白白。

等视频模型接手，城堡、草地、材质和光影被实时补齐，刚才还是3D草模，转眼就成了完整的游戏画面。

视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA

画得出来是一方面，底下的规则也真在跑。

就拿盾牌来说，玩家拾取后，引擎会把它正式写进游戏状态。中弹时先扣盾牌耐久，盾牌失效后再扣角色血量；等血量归零，游戏结束。

视频模型负责把过程画出来，具体怎么结算，全由代码说了算。

视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA

更有意思的是，这些规则还能继续改。

想提高武器射速，直接用自然语言告诉Coding Agent。

底层代码一改，武器的实际攻击逻辑也跟着变化。

视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA

一个对战场景，刚好把整套方法跑了一遍：

Coding Agent负责改，引擎负责算，视频模型负责画。

AI生成的世界，也由「看起来像游戏」，开始走向「真正按游戏规则运行」。

一张RTX 5090，怎么把游戏跑起来？

思路捋顺了，下一关才是真正的硬骨头：

算力。

毕竟让视频模型实时画游戏，听起来就不像一张消费级显卡能扛住的活儿。

几乎同一时间，英伟达研究团队也发布了StreamRender-H3，同样采用「代码运行世界、视频模型生成画面」的路线。

但其官方展示的部署配置，是8张GB200 GPU。每个视频块采用两步去噪，每个流式生成步骤的扩散渲染耗时为218ms。

这还只是扩散渲染阶段。算上视频块收集、解码和播放等环节，如果按照两个视频块形成一次完整反馈来计算，端到端延迟约为545ms。

按这组数据粗略对照，Matrix-Game 4.0从按键到画面显示约需112ms，约为StreamRender-H3估算端到端延迟的五分之一；硬件配置则从8张GB200，降到了一张RTX 5090。

当然，两者的分辨率和延迟统计口径并不完全一致，不能直接排座次。

但从工程实现来看，单张消费级显卡能够跑到这个速度，已经足够有冲击力。

而这张卡，也不是突然就扛住了一切。

从Matrix-Game 1.0开始，团队一直在给游戏世界模型补课：

1.0先让生成的世界听懂玩家操作，2.0解决实时，3.0补上长时记忆，3.5继续稳住空间和角色。

△图片由AI生成

到了4.0，团队开始直面另一道题：

这个实时生成、还能记住的世界，什么时候才算一款游戏？

答案前面已经揭晓了，那就是把规则交给代码和游戏引擎。

但要让规则和画面在一张RTX 5090上同时跑，光是重新分工还不够。

还得从工程角度给整条链路减负。

第一减：减少模型需要自己猜的东西

第一步，是把生成任务变简单。

「凭空作画」？？NONONO，哪有「照着草图搞精装」来得省力。

为了教会模型这项本事，团队用UE5制作了一批成对数据：一边是结构画面，一边是对应的精细画面。

前者不管材质、光影这些花活儿，只保留场景结构、物体位置和运动轨迹，后者才是最终要生成的效果。

这么练下来，游戏引擎只要先把结构画面跑出来，视频模型就能照着补全材质、光影和环境细节。

但光有草图还不够。

同一个方块，到底是盾牌、NPC还是路障，模型看不出来。

于是系统还会读取引擎提供的可见对象和实时状态，动态拼出Caption，告诉模型画面里有什么、正在发生什么。

视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA

结构画面负责交代「在哪」，动态Caption负责说明「是什么、在干什么」。

好家伙，图纸和说明书都递到手里了。

这下，视频模型只管照着画。

第二减：减少模型需要自己记的东西

一张图画准了还不够，游戏得一直往下跑。

问题是，视频越长，历史画面就越多。

每次生成都让模型从头翻记录，不仅费劲，前面画歪的一点还可能被一路带下去。

不er，关键画面直接递到眼前不香吗~

Matrix-Game 4.0基于Wan2.2 5B Fun Control改造出了V2V模型，每次生成除了参考当前的结构画面，还会调用空间记忆参考图、用于衔接的首帧，以及缓存中的近期历史信息。

该在哪、长啥样、怎么接，全提示到位，画着画着跑偏的概率自然也就降下来了。

第三减：减少模型需要计算的东西

最后一刀，直接砍向计算量本身。

扩散模型生成画面，有点像从满屏噪点里反复修改，改一遍不够，再改几遍，直到画面成形。

游戏可等不了这么久。

团队通过少步自回归蒸馏，把这个过程压缩到只改1步或2步，而且一次只生成四帧。

算得快还不够，GPU等着CPU下指令、历史数据来回搬运，同样会拖慢速度。

于是CUDA Graph、FP8融合算子、KV环形缓存和轻量编解码器也全上了：

能少算一次就少算一次，能不搬的数据就别来回搬。

最终，文本编码器、DiT和VAE全部常驻一张RTX 5090。

单步去噪时，视频模型的稳态生成速度达到83 FPS，两步去噪时约57 FPS。

实际游戏以60 FPS运行，玩家按下按键后，不到0.15秒就能看到画面响应。

讲真，看到这里，我觉得单卡60帧真正狠的，已经不是「60」这个数字了。

以前只能躺在算力集群里跑的游戏世界模型，现在一张RTX 5090，就能直接搬上开发者的桌面。

视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA

更绝的是，硬件门槛刚砍下来，昆仑万维转头又来了一记：

开源。

中国AI把开源卷到游戏世界模型

「开源」这个动作，放在游戏世界模型里，分量比想象中更重。

每次看到世界模型发布，我都会有种熟悉的感觉：

Demo确实炸。

雪山、城市、沙漠随便生成，人物按下方向键就能往前走，视频在社交平台刷得满天飞。

然后呢？

然后就没了。

模型权重拿不到，推理代码看不见，开发者更别说下载到本地，改个规则、换个场景试试。

简单扫一眼行业就会发现，大多数玩家开放的是产品、API或者研究演示，真正把模型和代码交到开发者手里的，还是少数。

所以Matrix-Game 4.0这波开源，主打一个用着不烧心（手动狗头）。

划重点，这还不是今天突然想「开」了，这家公司从Matrix-Game 1.0开始就一直走开源路线。

回头看，这么早就选择把技术摊开，感觉一个很重要的原因是：

世界模型赛道越来越热闹，技术路线却远远没有收敛。

△图片由AI生成

有人继续押注视频生成，有人主攻3D空间，还有人重新请回游戏引擎。

看着都叫世界模型，底层解法其实已经越走越不一样。

唯一逐渐清晰的是，光会生成视频已经不够看了，世界得能进去、能交互，最好还能长期运行起来。

至于这一步到底怎么迈，各家还在疯狂试错。

也正因为没有标准答案，开源才有了用武之地。

模型往开发者手里一交，能不能复现、换个场景会不会翻车、还能整出什么新玩法，直接上手roll一遍。

好不好使，社区自然会给答案。

而这套打法，咱其实熟得不能再熟了。

大语言模型开源，多模态继续开源，现在以昆仑万维为代表的中国开源力量，顺着就卷到了游戏世界模型。

好家伙，一个新赛道刚热起来，熟悉的配方已经端上桌了。

当然，Matrix-Game 4.0现在还只是个开始。

480p画质确实谈不上多精细，距离更稳定、更长时间、更多人同时玩的AI世界，也还有一段路。

但路都还没定，答案当然也不能只让几家公司关起门来写。

谷歌Genie之后，国产玩家这次给出的解法是：

代码负责让世界守规矩，AI负责把世界画出来。

一张RTX 5090就能跑，模型和代码也一起交了出来。

至于后面还能被开发者玩成什么样？

只能说：

Matrix-Game 4.0大舞台，喜欢您就来。

【大舞台传送门】：

https://github.com/SkyworkAI/Matrix-Game

https://huggingface.co/Skywork/Matrix-Game-4.0

https://matrix-game-v4-0.github.io/page/