李飞飞的World Labs新发布的世界模型，是真的世界模型吗？

文｜Sleepy

9 月 1 日，李飞飞的 World Labs 发布了 Atlas。

发布页上有一组画面确实好看。几台手机架在三脚架和夹具上，从三到五个角度对着同一个现场，然后时间停住，镜头开始移动，绕过人物，走到真实摄影机从未站过的位置。

子弹时间，这个手法这两年不算稀奇。差别在 Atlas 同时交出来的另外三样东西。

第一样是 depth。给画面里每一个像素标上它离镜头有多远，一张普通照片就变成一张按远近上色的地形图。

第二样是 point cloud。在空间里撒下几百万个点，每个点记住自己的三维坐标，凑到一起就是这间屋子的形状。

第三样是 3D Gaussian Splat。它不用三角面片搭模型，而是拿大量带颜色、带透明度、有朝向也有胖瘦的小光斑堆出整个场景，换任何一个角度都能重新渲染一遍。

这三样东西的共同点是可测量。杯子的直径、桌子到墙的距离，都能从里面直接读出数值。生成的结果不再只是给人看的画面，可以送进游戏引擎、设计软件，或者一段机械臂的控制代码。

World Labs 干脆把 Atlas 叫做世界模拟器。

模拟器这个词他们用得不随便。三个月前，他们自己写过一篇文章，专门规定什么样的系统才配叫这个名字。

看得见和碰得到

那篇文章发在今年 6 月，讨论的是什么才算世界模型，结论是把市面上的系统分成三级，渲染器、模拟器、规划器。

这种分类方法的源头很老。1943 年，英国心理学家 Kenneth Craik 说过一个观点，人能提前想明白一件事会怎么发展，是因为脑子里有一个缩小版的现实世界。这个说法后来被控制论、神经网络和强化学习一路接过去，变成三个词，state、observation、action。

用一间厨房来说。

杯子摆在桌上的哪个位置、离桌沿几厘米、桌子离墙多远、门开着还是关着，这些加起来是这间厨房此刻的 state。

人站在门口，只看得到状态里的一部分。被冰箱挡住的那块地面他看不见，杯子里还剩多少水他也不知道。他眼睛收进来的这一份信息叫 observation。

他走过去把杯子推开，这是 action。

state、observation、action，一个系统能管几样，就决定了它属于哪一级。

渲染器管画面。人往前走一步，它算出这一步该看见什么，画得像、和上一帧接得上，事情就办完了。杯子有多高、桌子离墙多远，它不需要知道，因为它交出来的只是一张图。

模拟器管状态。杯子的位置、桌子的尺寸、门开到多大会撞上墙，这些数字它得一直存着，随时能被调出来。也正因为存着这些数字，别的程序才接得进来，一只机械臂才能在这间厨房里伸手。

规划器管动作。它不光知道杯子在桌上、碰倒了会怎么样，还要判断现在该不该伸手、先拿哪一个、从哪个角度下手最稳。

按这套标准，Google DeepMind 的 Genie 3 被归进最低一级，只是个渲染器。一起归进去的，还有 World Labs 自己在 2025 年 10 月发布的 RTFM。

在这之前，「世界模型」这个词几乎什么都能装。输入一句话，生成一段能走进去的画面，是世界模型。把官网口号改成用 AI 模拟世界，也是世界模型。这篇文章第一次给它划了条线，画面归画面，世界归世界。

过去一年那些演示大多停在第一级。比起纯文字生成视频，它们确实前进了一大截，按一下方向键，画面会跟着变。

但是渲染器交出来的东西，人看着够用，机器用不了。

Atlas 要够的是模拟器那一级。按他们自己的定义，模拟器得维护这个世界的全部状态，物理也算在里面。

目前公布的测试集中在相机条件生成和三维重建，复杂材料、流体、布料这类多物理相互作用还没解决，整个行业都没有解决。

Atlas 的技术上的名字是 multimodal autoregressive diffusion transformer，四个词拆开来都不新鲜。

transformer 和 autoregressive 是大语言模型那一套，看着已经生成的内容一个接一个往下续。diffusion 是图像和视频生成那一套，画面由它画出来。multimodal 指的是它同时接收好几种输入。

新的地方在 multimodal 具体包括了文字、图片、相机位姿和深度图四类。

相机位姿说的是拍这张照片的时候，相机站在三维空间的哪个位置、朝着哪个方向，六个数字就写得清楚。配上深度图，每一张照片都不再是孤零零的一张图，而是一张标好了拍摄位置的图。

所有照片标在同一套坐标上，这套坐标就是 Atlas 的 shared spatial context，共享空间上下文。

举例来说，站在客厅门口拍一张沙发，再走到窗边拍一张。两张照片里的沙发大小不同、角度不同，还有一半被茶几挡着。普通模型看到的是两张不一样的图。人看到的是同一个沙发，因为人知道自己走了几步、转了多少度。

Atlas 拿到的，正是「走了几步、转了多少度」这份数据。

这份数据还有另一个用处，World Labs 上一代产品 RTFM 已经试过。它的目标是在单张 H100 上实时生成一个能一直逛下去的世界。往前走它往前生成，转弯视角跟着变。麻烦出在记忆上。

假设有人在这栋虚拟房子里逛了半小时。如果把这半小时生成的画面全部塞进上下文，模型确实什么都不会忘，但上下文越堆越长，算力会先撑不住。如果只留最近几十帧，算力省下来了，可从卧室绕一圈走回厨房，模型已经不记得二十分钟前桌子摆在哪儿，同一间厨房会被生成成两个样子。

World Labs 给 RTFM 的做法叫 posed frames as spatial memory。每一帧除了画面，还存下拍它的时候相机在空间里的位置和朝向。模型走到某个位置，系统不必把全部记忆翻一遍，只按位置就近取回几帧，拼出这一次生成需要的上下文。

位置在这里当的是索引。想知道厨房长什么样，把在厨房附近拍下的帧找出来就够了，它们是什么时候拍的不重要。

人用记忆其实也是这个路子。让你回想上周三下午做了什么，多半想不起来，但走进那间会议室，谁坐在对面、白板上写了什么，很快就能对上。按时间检索要从头数一遍，按地点检索一步到位。

重建与生成

Atlas 的发布页上还有一个实验。先只给一张花园的照片，让模型生成从高空往下看的画面。照片里只有花园，周围什么样没拍到，于是花园的部分照实还原，旁边的建筑靠它在训练数据里见过的常识补出来。

第二张照片拍到了旁边的小屋，这一块不用补了。第三张屋子露出来了，要补的地方又少一块。

World Labs 的总结是，the more it sees, the less it imagines。按他们给出的数据，两三张照片通常够把场景还原到能用，一次最多可以放进一百多张。

这个实验把两件本来分得很开的事做进了同一个模型。

想在电脑里得到一个三维场景，过去有两条路。一条叫重建，拿现场拍回来的照片，把一个真实存在的地方按原样还原出来，哪个角落没拍到就空着，宁可留一个洞。另一条叫生成，模型凭训练时见过的房子和草坪，造一个从来不存在的地方。

Atlas 两头都占。没拍到的地方先按常识补上，等新照片补进来，再把编的那部分换成真的。照片少就多编，照片多就少编。

我一直很喜欢一个叫 Funes World 的项目。他们带着相机满世界拍建筑，庞贝、特洛伊、科隆大教堂、天坛祈年殿，也拍那些不出名的房子，就是某天改造完就再没人记得原来长什么样的那种。他们会绕着建筑走，从各个方向拍，照片之间留够重叠，再用摄影测量、NeRF、Gaussian Splatting 拼回三维模型。公开档案现在有两千一百多个模型，覆盖十九个以上的国家。

他们说自己在给真实世界做备份，做一个物理世界的 GitHub。

Funes 走的是纯粹重建那条路。他们抢在推土机前面按快门，要的是那栋房子确实长成那样。哪怕缺一块，也不能让模型替它补。

Atlas 面对的是另一种用户。一间厨房里的墙，只要位置和尺寸对得上，机械臂伸手撞上去的结果就一样，墙上的花纹是拍来的还是编的机械臂不关心。

于是问题落到了另一个地方。一个有一部分靠编的世界，能不能拿来训练一台要在现实里干活的机器。至于编出来的房子像不像真的，这里可以先不管。

7 月，World Labs 买下了机器人公司 SceniX。收购之后公布的第一批结果，回答的正是这个问题。

几组机器人完全在模拟器里训练，没有用一条真实世界的数据，然后直接装到真实机械臂上，做装箱、绕线、搬试管。其中几台连续自主运行了一小时，中途没有人干预。

更值得看的是他们怎么判断这个模拟器算不算合格。

有一条听上去很自然的标准，模拟器里成功率八成，真机上也该是八成。这条他们没用。模拟器里的墙和真墙的摩擦不一样，零件的重量分布也对不上，成功率必然差一截。

他们改成这样做。先在模拟器里把几种方案各跑 2000 次，按表现排出高下，再把这几种方案搬到真机上各跑 100 次，然后只对两件事。模拟器里 A 方案比 B 方案好，真机上是不是也这样；模拟器说某个动作在哪一步最容易失手，真机是不是也在那一步失手。

在公布的任务里，这两项都对上了。至于两边的成功率差多少反倒不用管，按 World Labs 自己的说法，有用的模拟器不需要和现实的成功率一致，只需要支持和现实一样的决策。

这个方式一百多年前就有人用过。

1901 年秋天，莱特兄弟照着 Lilienthal 发表的机翼数据造出滑翔机，实际升力只有预测值的三分之一。前人的数据有问题，可要重新测就得一次次把人送上天。于是他们用木头做了一个六英尺长的风洞，一个下午能试好几副机翼，一个冬天试了一百多种。

风洞里那点风和北卡罗来纳的海风不是一回事，但哪副机翼更好是能比较出来的。

世界模型不必复制整个宇宙。它只需要留住和决策有关的那部分结构。

失败的经验

到这一步，World Labs 的生意轮廓就出来了。他们 2025 年推出的产品 Marble，已经能从文字、图片和视频生成可探索的三维世界，World API 开放之后开发者可以直接调用，Atlas 是这些产品底下的那层模型。

今年 2 月那轮 10 亿美元融资，出钱的公司分布得很杂。NVIDIA 要 Physical AI，Autodesk 要建筑、工业设计和数字孪生，此外还有 AMD、Fidelity 和 Sea。同一个三维世界，导演在意机位和光线，建筑师在意结构和尺度，机器人要的是一个能实验的环境。

一个世界只要足够通用，就能横跨今天彼此分开的好几套软件产业。

至于把那些说自己在做世界模型的公司塞进同一张 benchmark 表已经没什么意义了。

Genie 3 在生成画面，Meta 的 V-JEPA 2 干脆不画画面，直接从视频里学规律，NVIDIA 的 Cosmos 把视觉推理、世界生成和动作预测装进同一个模型，Runway 从视频生成转身去做模拟。用的是同一个词，解的不是同一道题。

分歧只有一条。一派相信把世界预测得足够好，三维结构自己会从数据里长出来，视频里本来就藏着这些规律。另一派把相机位置、几何和物理约束直接塞进模型，让世界从第一天就带着结构。Atlas 把相机位姿和深度做成原生输入，就是这么做的。

这条路上有一件事绕不开，训练数据从哪来。

大语言模型拿到过一份馈赠。几十年里，人类写网页、写代码、在论坛上吵架，无意之间攒出一个巨大的语料库。

三维世界没有这份东西。空间关系很少被系统地记录下来，一块地板的摩擦系数不会自己写进网页。更难的是交互。机器人把线插歪了，现实里那根线是真的歪了，下一次尝试之前，得有人走过去把它扶正。文本可以无限复制，现实里的经验每一次都要重新发生一遍。

所以过去机器人最缺的其实是失败。在现实里犯错太贵，模拟器一旦好用，机器人就可以在里面跑几千次几万次，快速积攒经验。

李飞飞和这个问题打了快二十年交道。

2009 年，她和团队做了 ImageNet，把互联网上散落的图片按 WordNet 的概念体系重新整理了一遍。完整索引里有 1419 万张图片、21841 个 synset，后来引爆深度学习的 ILSVRC 只用了其中 1000 类。那一代计算机视觉的题目很简单，给机器一张照片，让它说出里面有什么、属于哪一类、在画面的什么位置。

十七年过去，这道题早就不算问题。前面那间厨房里的杯子，今天的模型不但认得出来，还能凭空生成一百只从来没有存在过的杯子。

难的变成了这只杯子在屋里的什么位置，绕到桌子背后再去观测它还是不是同一只，有人把它推走之后，下一次看过去它应该在哪里、是什么状态。认得出一样东西，和知道这样东西在世界里怎么待着，是两件事。

从 ImageNet 到 Atlas，中间有一条出人意料的连续线：人到底要往机器里塞多少关于世界的信息，它才长成自己的世界。

1940 年，阿根廷作家阿道夫·比奥伊·卡萨雷斯写过一本小说，《莫雷尔的发明》。

主角逃到一座荒岛，遇见一群奇怪的人。这些人每天散步、聊天、跳舞，一切看起来都正常，但没有人能看见他。更古怪的是，同一段谈话过几天会原样再发生一次，连停顿的位置都不差。

后来他才知道，岛上的科学家莫雷尔造了一台机器，把一群人在岛上的一周完整录了下来。声音录下来了，形象录下来了，莫雷尔相信连触觉、气味和温度也一并保住。机器由潮汐驱动，那一周在岛上循环播放。

莫雷尔相信，当所有感官同步时，灵魂便出现了。

八十多年前写下的这台机器，已经很像一个夸张到荒唐的 multimodal model。它保存了现实的全部感官证据，做出一份任何观察者都分不出真假的复制品。

主角爱上了投影里的女人 Faustine。他每天站到她面前跟她说话，想让她看见自己。她一次也没有回应，因为她所在的那一周早就录完了。机器能把那一周重放一万遍，却放不出一件当时没有发生过的事。

按 World Labs 自己那张表，莫雷尔造的是一台完美的渲染器。

今天的模型已经能把一个地方还原到挑不出毛病。难的是那件从来没有被谁拍下来过的事，有人走进去，伸手，把桌上那只杯子碰倒。

莫雷尔的岛上什么都有，只差这一下。