蚂蚁灵波沈宇军谈世界模型：具身智能需要物理世界原生架构

作者：MD

出品：明亮公司

在第八届北京智源大会上，蚂蚁灵波科技首席科学家沈宇军以“蚂蚁灵波科技在具身世界模型的思考与实践”为主题，系统分享了团队在具身智能、VLA、世界模型以及机器人控制方向的最新进展。

过去一年，“世界模型”成为具身智能领域最受关注的方向之一。

伴随视频生成模型能力提升，越来越多团队开始讨论能否用生成模型模拟未来世界，进而为机器人提供训练环境、评测体系和决策依据。

但在沈宇军看来，行业当下对世界模型的讨论的边界并不清晰：很多所谓世界模型，本质上仍是视频生成模型，或者是面向数字世界的可交互生成系统；而机器人真正需要的具身世界模型，必须能够接受动作输入、预测状态变化，并最终服务于物理世界中的感知、操作、评测和控制闭环。

据公开信息，蚂蚁灵波科技是蚂蚁集团在具身智能方向的重要布局主体。天眼查APP显示，上海蚂蚁灵波科技有限公司（蚂蚁灵波）穿透后为蚂蚁科技集团股份有限公司全资持股

在演讲中，沈宇军表示，蚂蚁灵波定位于“给机器人做大脑”，其技术路线并不只围绕单一模型展开，而是试图构建覆盖感知、空间智能、动作模型和世界模型的全栈系统。

沈宇军演示文稿显示，蚂蚁灵波目前已形成LingBot-Depth、LingBot-Map、LingBot-VLA、LingBot-VA和LingBot-World等模型矩阵。其中，LingBot-Depth关注透明与反光物体的高精度深度感知，LingBot-Map面向实时、高保真、长时序的自回归流式3D重建，LingBot-VLA被定义为跨本体、多任务的开源具身大模型，LingBot-VA则试图把视觉动态预测与动作推理统一起来，LingBot-World则承担世界模型与可交互仿真环境的角色。

在演讲中，沈宇军指出，第一，世界模型不等于视频生成，真正的世界模型应该在给定状态和动作后预测下一个状态。第二，数字世界模型与具身世界模型存在本质差异，机器人不只需要导航和视角变化，更需要操作、接触、真实反馈和低延迟部署。第三，具身智能未来不能简单依赖数字世界模型后训练，而需要面向物理世界原生设计的架构、数据和安全机制。

展望未来，沈宇军表示，未来具身智能需要自己的原生数据，也需要自己的原生架构。“这个架构的很多特性，应该从一开始就是为具身设计的，为物理世界设计的。它不是一个已有模型在具身数据上继续训练一下就可以。”

在演讲的最后，沈宇军表示：“蚂蚁灵波接下来也会对整体架构做一次比较大的升级。这个升级会包含我刚才讲到的很多设计，它们不再是数字世界的设计，而是更面向物理世界。同时，我们会尽可能让它足够高效，因为高效的目的最终是产业落地。”

以下为「明亮公司」基于现场速记、演示文稿整理的演讲内容：

01 蚂蚁灵波：给机器人做大脑

大家好，我是沈宇军。今天这个场合，我更多想讲一讲我们在做具身智能和世界模型过程中的一些体会和感悟。

首先可能有些同学还不太了解蚂蚁灵波。我们对自己的定位，是一家做智能的公司。说得更直接一点，就是给机器人做“大脑”。在做机器人智能这件事上，我们相对聚焦，因为这里面的所有东西最后其实是一盘大棋。

机器人活在物理世界，所以它第一步一定离不开原始信号。无论视觉也好，触觉也好，空间感知都是底层能力。机器人最终要干活，所以中间一定要落到动作上，因为只有动作才能让机器人和环境发生交互。再往上，我们也在探索世界模型能不能为机器人提供训练场、仿真评测环境，甚至帮助机器人策略进化。

所以从我们的整体布局看，底层有空间感知，包括LingBot-Depth和LingBot-Map。LingBot-Depth主要解决透明、反光物体这类难感知对象的深度问题，LingBot-Map面向实时、高保真、长时序的流式3D重建。中间有动作模型，包括LingBot-VLA和LingBot-VA。LingBot-VLA是跨本体、多任务的具身基座模型，可以理解成机器人的通用大脑；LingBot-VA是视频—动作模型，目标是让世界模型驱动具身操作。最上层是LingBot-World，也就是高保真、可控制、逻辑一致的世界模型，未来希望它能成为可交互的物理仿真环境。

来源：北京智源大会、蚂蚁灵波（下同）

02 世界模型与视频生成的差异

今天这个论坛主要讨论世界模型，所以我会把重点放在这个部分。

现在“世界模型”这个词非常火，技术路线也有很多种。某种程度上，大家好像只要跟视频生成沾点边，就会说自己做的是世界模型。我们在今年1月底发布了LingBot-World，当时它和Google Genie3这样的模型在能力上比较接近，而且这个模型是开源的，也可以直接体验。

但我想先澄清一下，我们到底如何理解世界模型。

我个人比较认可的定义是：在一个状态下，模型拿到了一个action，也就是动作，然后它能不能预测下一个状态。这个定义对我来说更接近世界模型的本质。也就是说，世界模型不是简单根据文本生成一段视频，而是要理解动作之后状态怎么变化。

在很多讨论会把世界模型和视频生成混在一起，但二者之间有几个比较大的gap。

第一个差异是可控性。现在的视频生成通常是用户输入一段文字，然后模型慢慢算，算完之后给你一个视频。这是视频生成该做的事。但世界模型很多时候不能等这么久。对机器人来说，它拿到一个action后，需要马上得到反馈。世界模型必须根据动作和指令实时改变生成内容。

第二个差异是实时性。视频生成可以慢，但世界模型必须对输入立刻响应。机器人在真实环境里执行动作，不能等模型想完再动。如果反应太慢，机器人所有动作都会卡顿。

第三个差异是合理性。对于视频生成来说，想象力是被鼓励的。比如有些模型生成“猪在天上飞”，在娱乐和内容创作里可能是有价值的。但如果把它放回物理世界，这种想象力有时是有害的。世界模型不能纯靠想象，它生成的未来必须符合物理约束和现实逻辑。

第四个差异是记忆性。世界模型不能违背历史。它之前生成了什么、观察到了什么，后面就必须保持一致。否则机器人无法基于它做决策。

第五个差异是持久性。世界模型理论上应该能够长时间生成和维护世界状态，而不是只能生成几秒钟看起来不错的视频。

所以我们做LingBot-World时，重点不是简单做一个视频生成模型，而是希望它具备可控性、实时性、合理性、记忆性和持久性。LingBot-World展示了一些超长时序一致性和记忆能力，也尝试统一物理世界和游戏世界建模，并通过动态的屏外记忆和基于物理的真实约束，让模型生成更接近世界模型应该具备的能力。

LingBot-World目前也已经接入一些生态合作。比如Reactor平台已经适配了LingBot-World，用户可以实时在线体验。SGLang社区也支持了我们的real time diffusion model。它可以通过prompt、首帧图像和相机控制信号生成流式视频。

03 数字世界与物理世界的世界模型

但我也必须强调，LingBot-World目前更多还是停留在数字世界。它能展示世界模型的一些能力，但和机器人真正需要的具身世界模型之间，还有明显距离。

接下来如果要把这条路和机器人结合，我认为必须经历两个阶段。

第一阶段，是它能不能成为机器人各种policy的可靠评测体系。比如我把一个VLA policy接进这个世界模型，模型给出一个任务成功率反馈。那么这个反馈和这个policy真正部署在机器人上的反馈是否一致？至少是否保序？如果一个策略在世界模型里表现更好，它在真实机器人上是不是也更好？这是第一步必须解决的问题。

第二阶段，如果世界模型已经可以用于评测，那么它能不能反过来给policy提供feedback，让policy进化。也就是说，世界模型不只是生成内容，而是能为机器人策略优化提供反馈。只有做到这一步，世界模型和机器人结合的路线才真正有意义。不是说模型能生成场景，机器人就马上可以用起来，中间还有很长的路。

进一步说，数字世界模型和物理世界模型之间也有很大的gap。

现在很多数字世界模型所谓的交互，实际上还是navigation，也就是导航。它可以让用户移动、换视角、探索环境。但机器人在物理世界里真正要干活，移动是不够的。机器人更需要操作，比如把杯子拿起来，把东西捏扁，把盒子打开。现在绝大多数基于视频生成的世界模型，基本做不到这一点。

所以数字世界模型和具身世界模型之间的第一个差别，是交互强度。数字世界更多是视角和导航的交互，具身世界必须处理真实操作和物体状态变化。

第二个差别，是物理世界能拿到真实反馈。数字世界里的所有东西都是假的，模型必须自己维护所有状态。但物理世界里，机器人只要摄像头还在工作，它就能看到现实发生了什么。它不一定要在脑海里完美预测每个像素。

这里我想强调一个观点：对于物理世界的世界模型来说，我们并不一定需要它真的理解物理。我说的不理解物理，是指它不一定要理解牛顿三定律，不一定要精确计算加速度、摩擦力这些东西。比如我的爷爷奶奶可能没读过书，也不懂这些公式，但他们在物理世界里生活得很好。他们知道一个东西悬空了会掉，至于掉得多快，他们可以用眼睛看。

机器人也是这样。它脑海里只要知道这个东西会掉就可以了，具体怎么掉，可以通过传感器去观察。因为物理世界和数字世界最大的差别是，物理世界可以看到真实反馈。

这反而会缓解具身世界模型的一些能力要求。我们不一定要每个pixel（像素）都预测得非常好，因为机器人看得到现实。但这也带来了更高要求，就是部署要求更高。模型必须更快、更高效。我们可以把模型压小，也可以把像素级生成当作训练阶段的代理任务，推理阶段不再显式生成。无论采用哪种方案，具身世界模型一定要更高效。

这也是为什么我认为，数字世界模型、视频生成模型和物理世界模型不能混在一起讨论。它们对模型能力的要求是不一样的。

04 世界模型与VLA的关系

再往下讲，我想谈谈VLA和世界模型的关系。

现在很多人会问，世界模型是不是下一代VLA？或者说VLA会不会被世界模型替代？

我的看法是，VLA有它的价值，而且这个价值不是世界模型现在能完全替代的。

首先，VLA在数据层面推动了行业进步。在没有VLA之前，机器人遥操作数据到底什么样才是好数据，行业其实没有非常清楚的定义。我们最开始做的时候也买过很多数据，发现很多数据只讲量，不讲质量。任务分布是什么、数据怎么处理、怎么喂给模型，这些问题很少有人讲。VLA至少帮助整个行业在机器人数据这件事上往前迈了一步。

第二，VLA更容易部署。它现在很多时候可以直接上真机验证。我说的上真机，不是连着网线跑，而是真的可以部署到Orin或者类似端侧芯片上。相比之下，视频生成底座的世界模型部署压力更大。

第三，VLA有一个视频生成模型目前不具备的能力，就是模态对齐。VLA基于VLM，可以更好地做语言、视觉和动作之间的对齐。视频生成更多是大概念对齐，但一些细节的语言和视觉是否真正align好，现在还比较难。我判断如果视频生成技术没有大的飞跃，两三年内这个问题可能解决不了。因为视频生成的caption很多来自多模态模型，所以它在语言和视觉对齐上的上限，很大程度受制于VLM。

所以即便有了世界模型这个概念，VLA仍然有价值。

我们在蚂蚁灵波内部，其实VLA和VA两条路线都做过。它们的数据是共享的，但基座不同。VLA基于VLM，VA基于VideoGen。VLM的优势是对齐，VideoGen的优势则是动态建模。

我觉得VideoGen相比VLM，在具身领域真正提供的价值，不是简单说它更懂物理，而是它有更强的temporal modeling，也就是时间和动态建模能力。VLM训练时大多是抽帧，temporal modeling能力比较弱；但视频生成为了生成连续内容，必须建模时间连续性和动态变化。世界模型在具身智能中的价值，很大程度上就应该发挥这个动态建模能力。

我们做的LingBot-VA，就是在这个方向上的探索。它是一个自回归扩散框架，在架构上把视觉动态预测和动作推理统一到单一交错序列中，让机器人可以同时推理未来状态并执行精确的闭环控制。

在我看来，下一代具身世界模型有几个关键点是不会变的。

第一，它一定是causal的。这里的causal可以理解成单向的。历史看不到未来，未来可以看到历史。机器人执行过程中，时间永远只能往前走，它不可能先做完任务，再回头看未来信息。所以我不一定说它真正理解了因果，但attention必须是单向的，这是一条铁律。

第二，推理一定是异步的。机器人不能等它想完再执行。异步有两种方式，一种是边想边执行，另一种是在执行过程中想后面的东西。甚至也可以训练时想，推理时不显式想。但无论如何，必须异步，否则机器人行为一定会卡顿。

第三，机器人执行过程中可以看到现实发生了什么。这个观点我一定要反复强调。做具身世界模型时，我们没有必要要求模型把所有东西都预测得特别完美。它不完美也可以，因为机器人看到的东西是真的。我们应该把更多算力用在它真正需要的能力上，而不是一味追求合理性、高清或像素级完美。

从我们的一些实验结果看，世界模型在temporal modeling和dynamic modeling上确实能带来价值。

比如计数任务。如果你让VLA做五次某个动作，它可能不知道自己已经做了几次。因为它基于当前状态，只知道盒子是开着还是关着，但不知道开关这个动作发生过几次。“几次”这个概念必须依赖时间。

再比如循环状态。有些任务的初始状态和结束状态看起来一模一样。VLA只看当前状态，可能看到初始状态就以为任务已经结束了。但世界模型如果有长时记忆，就能知道之前到底发生了什么，能够区分“还没开始”和“已经完成”。

所以我们说，长时记忆是“记得久，做得对”。在机器人任务里，记忆不是可有可无的功能，而是能否完成复杂任务的重要能力。

但我也要说，VLA有些能力是世界模型不具备的，比如指令跟随和中途打断。机器人操作过程中，用户可能随时改变指令。比如机器人快抓到苹果时，用户说不要苹果，要香蕉。VLA相对更容易处理这种情况，但视频生成式世界模型现在基本还做不到，因为很多模型是一条指令到底，中间很难改变。

因此，VLA和世界模型各有特点。我们不能因为世界模型现在很火，就认为它一定能替代VLA。更重要的是把视频生成、数字世界模型、物理世界模型这些概念区分清楚，再讨论技术路线才有意义。

05 展望未来：原生架构和安全问题

最后，我想谈一下未来。

现在整个具身行业有一个取巧的点：大家把具身智能当成数字世界模型的物理agent来做。VLA是基于多模态模型做的，VA或WAM是基于视频生成模型做的。大家相当于把自己当作下游应用。但我认为这并不完全合理。

数字世界对模型的需求和物理世界对模型的需求是不一样的。数字世界要求高清，物理世界不一定需要高清；数字世界可以慢，物理世界要求快。这些天然差异决定了，我们不能简单把已有数字世界模型拿到具身数据上再训练一遍，就认为它能解决物理世界问题。

具身智能需要自己的原生数据，也需要自己的原生架构。这个架构的很多特性，应该从一开始就是为具身设计的，为物理世界设计的。它不是一个已有模型在具身数据上继续训练一下就可以。

还有一个问题是安全。

这个话题现在讨论还比较少，但我每次出来都会呼吁，尤其是学术界和像智源这样的机构，一定要提前重视具身安全。不能等机器人所有能力都ready之后再考虑安全，那时候就来不及了。

我判断，安全最终也会通过某种数据形式训练到模型里。这里会出现很多问题。比如安全到底怎么定义，如何分类，这是学术界可以先做的事情。但定义之后，工业界会面临更难的问题：安全数据怎么采。如果一个行为会伤人，我们不可能真的采集伤人的数据来训练模型。如果很多场景只能采到负样本，采不到正样本，模型还能不能学习？这也是一个很重要的学术问题。

所以我认为，具身智能未来会有几个原生的东西出来：具身原生架构、具身原生数据和具身安全。

蚂蚁灵波接下来也会对整体架构做一次比较大的升级。这个升级会包含我刚才讲到的很多设计，它们不再是数字世界的设计，而是更面向物理世界。同时，我们会尽可能让它足够高效，因为高效的目的最终是产业落地。