从理解到行动：统一世界模型如何重塑通用具身智能的未来

作者：高泽龙

当人工智能的疆域从数字符号拓展至物理现实，我们正目睹一场认知范式的根本性迁移——让机器不仅仅"看见"世界，更要"预见"世界，并"参与"世界。

引言：跨越认知鸿沟的AI新纪元

2026年的夏天，人工智能领域呈现出一种微妙而深刻的张力。一方面，以GPT-4、o1为代表的大型语言模型（Large Language Models, LLMs）仍在不断刷新着人类对机器认知能力的想象——它们能够解答复杂数学题、撰写法律文书、甚至辅助科学发现。另一方面，越来越多的顶尖研究者开始公开质疑：仅仅依赖"下一个词元预测"这一单一机制，是否真的能够通往通用人工智能（AGI）？这种质疑并非否定LLM的成就，而是指向一个更深层的缺失——对物理世界的因果理解、行动后果的预判以及基于内在模拟的长期规划能力。

这一缺失在具身智能（Embodied AI）领域尤为致命。当一台机器人被要求"把餐桌收拾干净"时，它需要同时调动视觉识别（看见碗碟）、语言理解（听懂指令）、物理推理（预判拿起碗碟后桌面受力变化）、运动规划（生成协调的机械臂轨迹）以及实时反馈（根据传感器数据调整动作）。在当前的AI实践中，上述能力往往由多个独立模型拼凑完成——一个视觉语言模型负责"看和想"，一个视频生成模型负责"模拟未来"，一个策略网络负责"输出动作"——它们如同五个操着不同方言的专家被硬塞进同一间办公室，彼此之间缺乏有效的沟通与共识。

这种"感官碎片化"的状态，正是世界模型（World Model）试图解决的核心命题。世界模型的终极愿景，是在机器内部构建一个可预测、可想象、可规划的环境模拟器，使其能够在行动之前先在"脑海"中预演各种可能，再基于模拟结果做出最优决策。它不再是"反应式"的刺激-响应回路，而是"前瞻式"的预测-评估-规划闭环。这一思想根植于认知科学中的"预测处理"（Predictive Processing）理论——大脑本质上是一台预测机器，感知的作用不是被动接收信息，而是主动校正内部模型的预测误差。如今，深度学习为这一古老思想注入了新的生命力，使得我们能够从海量数据中学习可扩展、可泛化的世界模型。

本文旨在系统梳理这一激动人心却又充满挑战的领域。我们将从生成模型的架构革命出发，途经世界模型的多元方法论、具身智能的融合范式、数据生态的构建与产业平台的博弈，最后回归批判性的反思与未来展望。我们的核心观点是：通往通用具身智能的路径，并非将现有模型无限放大，而是构建一个"语言认知皮层"与"物理世界模拟器"协同工作的双核架构，并通过统一的中间表示（如物体轨迹）实现二者之间的无缝通信。这一架构的雏形已在DiT、JEPA、VLOA、Cosmos等近期工作中初现端倪，而它们的交汇与碰撞，正定义着AI的下一个十年。

第一章 认知基石：从感知到预测的智能跃迁

1.1 智能的本质是预测，而非反应

在经典的人工智能范式中，智能系统被理解为"感知-决策-行动"的线性流水线：传感器采集数据，处理器提取特征，决策模块输出指令，执行器完成动作。这一模型直观且工程上易于实现，但它与生物智能的实际运作方式有着根本性的出入。过去二十年的认知神经科学研究揭示了一个颠覆性的结论：大脑并非被动等待外界刺激才启动计算，而是持续不断地生成对未来的主动预测，感知的作用主要是比较预测与现实之间的差异，并据此更新内部模型。

这一被称为"预测编码"（Predictive Coding）或"主动推理"（Active Inference）的理论框架，为世界模型提供了坚实的生物学基础。当我们走进厨房准备倒水时，大脑早已提前模拟出手臂抬起、水壶倾斜、水流落入杯中的一系列感觉运动序列，而视觉和本体感受仅仅用来实时校正这些模拟中的微小偏差。正是这种"先模拟、再行动"的能力，使得人类能够在面对未知情境时迅速做出合理反应，而不必依赖穷举式的试错。

智能体真正需要回答的问题不是"当前状态是什么"，而是"如果我采取行动 A，未来状态会变成什么？"以及"在所有可能的未来状态中，哪一个最接近我的目标？"这两个问题的核心答案，正是世界模型的职能所在。

1.2 世界模型的形式化定义与核心组件

在基于模型的强化学习（MBRL）中，世界模型通常被定义为一个参数化的环境转移动力学近似器：给定当前状态 sₜ 和执行的动作 aₜ，模型预测下一状态 sₜ₊₁ 和获得的奖励 rₜ，即条件概率 p(sₜ₊₁, rₜ | sₜ, aₜ)。然而，这一经典定义在面对高维视觉输入时往往力不从心——原始像素空间中的多步预测会因误差累积而迅速发散。因此，现代世界模型的核心演进方向是在紧凑的潜在表示空间（latent representation space）中学习动力学。

一个完整的现代世界模型通常包含如下功能模块：

• 编码器（Encoder）：将高维观测（如图像、点云、力觉信号）压缩为低维潜在状态 zₜ（即 zₜ = q_φ(zₜ | o₍≤ₜ₎, a₍<ₜ₎)）。该压缩过程必须保留对预测未来至关重要的信息，同时丢弃冗余的感知细节。
• 动力学模型（Dynamics Model）：学习潜在空间中的状态转移规律，即 zₜ₊₁ ∼ p_θ(zₜ₊₁ | zₜ, aₜ)。该模型可以是确定性的，也可以是随机性的（以捕获环境的多模态不确定性）。
• 奖励/价值预测器（可选）：对于强化学习场景，模型还需预测奖励 rₜ 或状态价值，以便在想象的轨迹上进行策略评估和优化。
• 解码器（Decoder，可选）：将潜在状态重建为像素级观测，用于可视化或人机交互。但需注意，解码器并非世界模型的必需组件——在抽象表示空间中预测，往往比在像素空间中重建更高效、更与任务相关。

1.3 为何语言模型无法替代世界模型

尽管LLM在大量文本上训练后能够"说出"关于物理世界的许多事实（例如"苹果会从树上掉下来"），但这与真正拥有一个可交互的、因果一致的物理模拟器有着本质区别。语言模型学习的是词元之间的统计共现关系，而非变量之间的因果依赖关系。它们可以流畅地描述一个物体的运动轨迹，却无法在内部模拟该轨迹所遵循的牛顿方程。这一区别在实际任务中暴露得淋漓尽致：当LLM被问及"洗车店距离我家100米，我应该走路去还是开车去？"时，它可能会抓住"100米很近"这一表层线索建议步行，而完全忽略了"车需要被开到洗车店"这一核心物理约束。这就是LeCun所说的"结构性盲区"——LLM缺乏对行动后果的预测能力，更遑论基于这种预测的多步规划。

因此，将LLM与世界模型视作相互替代的方案是错误的。更准确的理解是：LLM提供了通用的语言知识和语义推理能力（大脑的"认知皮层"），而世界模型则提供了物理常识、时间动力学和规划能力（大脑的"物理模拟器"）。二者通过标准化的接口协同工作，才是通向通用具身智能的真正道路。

【插图 1】DiT 模块内部结构示意图 来源：网络
说明：DiT Block采用adaLN-Zero机制，通过MLP从条件向量c中回归出调制参数，对LayerNorm后的特征进行缩放、偏移和门控，实现时间步和条件信息的深度融合。图中清晰展示了多头自注意力（MHSA）、前馈网络（FFN）以及残差连接的数据流向。

第二章 架构革命：DiT与Transformer的统一之路

2.1 U-Net的辉煌与局限

自2022年Stable Diffusion引爆图像生成革命以来，扩散模型（Diffusion Model）迅速成为生成式AI的核心支柱。在几乎所有的成功实践中，扩散模型的去噪网络都建立在U-Net架构之上。U-Net凭借其"编码-解码"的对称结构以及跨层跳跃连接（Skip Connections），天然地擅长处理图像这类具有强空间局部性的数据——下采样路径提取全局语义，上采样路径恢复局部细节，跳跃连接则保证了梯度流动和纹理保真。对于扩散模型而言，输入和输出需要保持相同的空间分辨率，这恰是U-Net的拿手好戏。

然而，随着模型规模的不断扩张，U-Net的局限性也逐渐显现。研究者发现，为了增强全局上下文理解能力，现代U-Net中已经大量嵌入了自注意力（Self-Attention）和交叉注意力（Cross-Attention）模块——Transformer组件正在悄无声息地"侵蚀"着U-Net的内部结构。与此同时，Vision Transformer（ViT）的成功已经证明，即使完全抛弃卷积，仅靠Transformer也能在视觉理解任务上取得顶尖性能。这两条线索交汇成了一个水到渠成的问题：如果Transformer能取代卷积网络完成理解任务，它是否也能取代U-Net完成生成任务？

2.2 DiT：用Transformer重构扩散过程

DiT（Diffusion Transformer）给出了一个明确的肯定回答。这项发表于2022年的工作彻底抛弃了U-Net，将扩散模型的主干网络替换为纯粹的Transformer。其核心流程如下：

• 将潜在空间中的噪声特征图 zₜ（形状为 [B, C, H, W]）通过PatchEmbed卷积层切分为一系列图像块（Patch），并展平为Token序列，同时添加正弦位置编码。
• 将时间步 t 和可选的条件信息（如类别标签或文本嵌入）分别编码后融合为一个统一的条件向量 c。
• 堆叠多个DiT Block，每个Block采用adaLN-Zero（自适应层归一化加零初始化）机制：通过MLP从条件向量 c 中回归出六个调制参数（分别用于注意力层和前馈层的缩放、偏移和门控），然后对归一化后的特征进行条件调制，并通过残差连接叠加。
• 经过最后一层线性预测后，通过Unpatchify将Token序列恢复为潜在特征图，再送入VAE解码器生成最终图像。

这一设计之所以精妙，在于它同时解决了两个关键问题：条件注入的有效性和训练稳定性。adaLN-Zero通过零初始化的门控参数 α，使得每个DiT Block在训练初期表现为恒等映射，有效避免了梯度爆炸或消失；而将条件信息嵌入到每个子层的调制参数中，保证了时间步和语义条件能够深度地影响每一层的前向计算，而非仅在输入层注入后被稀释。DiT的实验结果极具说服力：其性能随模型规模、Token数量和计算量的增加而持续提升，展现出清晰的Scaling Laws，最终在ImageNet 256×256类别条件生成任务上取得了当时最优的FID 2.27。

2.3 从图像到视频再到世界模型：时空Token的魔力

DiT的意义远不止于在图像生成上超越U-Net。它真正的革命性贡献在于揭示了Transformer架构天然具备向时空维度扩展的能力。对于图像，每个Patch Token对应一个二维空间区域；对于视频，我们只需将时间轴纳入切分，构造"时空Patch"（Spacetime Patches），即可让Transformer同时建模空间结构、时间变化和长程依赖——这正是卷积网络极难高效完成的任务。

OpenAI的Sora正是沿着这一思路的巅峰实践。Sora将视频数据统一表示为时空Token序列，利用DiT风格的架构进行训练，最终展现出惊人的物理模拟能力：生成的视频中，物体在遮挡后仍然存在（物体永久性）、运动轨迹保持连贯、甚至出现了一些简单的因果关系（如画笔在画布上留下痕迹）。尽管Sora的技术报告并未明确宣称"这就是世界模型"，但其明确指出，大规模视频模型的扩展是"构建物理与数字世界通用模拟器的有希望路径"。这一宣言标志着生成模型的目标已从"生成逼真的像素"跃迁为"学习世界的运行规律"。

此后，Flux、Lumina-T2X、SANA等一系列DiT变体相继涌现，进一步巩固了Transformer在生成模型领域的主导地位。可以毫不夸张地说，DiT为扩散模型完成了自己的"Transformer时刻"，也为后续所有的视频生成式和基于世界模型的方法奠定了一块统一且可扩展的基石。

【插图 2】世界模型综述的四轴分类框架 来源：专知及源论文
说明：该图根据原论文图1与全文组织结构重绘，从架构、方法论家族、推理策略和应用领域四个互补维度组织世界模型研究，为读者快速建立全局图景。

第三章 世界模型的多元面孔：从生成式到判别式

3.1 像素级预测：生成式世界模型的直观之路

目前最具视觉冲击力的世界模型路线，无疑是生成式视频预测。这类方法以视频生成模型为基础，输入当前观测（和可选的行动条件），输出未来的像素帧序列。其代表包括Sora、Genie、UniSim以及英伟达的Cosmos系列。生成式方法的优势在于直观性：人类可以轻易地评估生成视频是否"真实"，并且生成的像素帧可以直接用于下游规划（如通过逆动力学模型反推动作）或作为模拟器供策略训练。

然而，生成式方法也面临着根本性的效率瓶颈。世界需要预测的不是"整个世界"的每一处纹理和光照，而是那些与任务相关的、可预测的抽象属性。LeCun曾以"空中水瓶"为例尖锐地指出：要预测一个被抛向空中的水瓶的下落位置，我们只需要知道其质量、初速度和角度，而不需要知道瓶身上的商标图案、背景的墙壁纹理或光照方向。然而，一个像素级的生成模型必须耗尽算力去生成所有这些与预测任务无关的细节。这种"舍本逐末"的计算浪费，使得纯生成式世界模型在实时部署和长程规划中面临巨大挑战。

【插图 3】世界模型的关键组件与信息流 来源：专知及源论文
说明：世界模型通过感知表示、记忆状态、动力学预测和规划控制，把真实交互转化为可在内部模拟的决策循环。

3.2 表示空间预测：JEPA的非生成式替代

Yann LeCun所倡导的JEPA（Joint Embedding Predictive Architecture）提供了一条截然不同的道路。JEPA的核心理念是：在抽象的表示空间中预测未来，而非在原始像素空间中重建。其架构包含两个编码器（分别编码"过去"和"现在"的观测）和一个预测器，预测器只接收当前状态的表示作为输入，输出未来状态的表示。训练目标是最小化预测表示与目标表示之间的差异——这是一个"预测"任务，而非"生成"或"重建"任务。

【插图 4】JEPA架构示意图 来源：原论文或网络
说明：JEPA的核心是在抽象表示空间中预测未来状态，编码器将输入映射到表示空间，预测器学习状态之间的转移，避免在像素空间进行昂贵的重建。

JEPA面临的核心技术挑战是表示坍缩（Representation Collapse）：如果允许编码器和预测器自由优化，它们很容易将所有输入映射到同一个常数表示，使得预测误差始终为零但毫无意义。为防止坍缩，研究者们引入了各种正则化手段，如对比学习中的负样本、VICReg中的方差-协方差正则化，以及近期被LeCun看好的SIGReg（Spectral Image Graph Regularization）等。这些方法的核心思想是强制表示空间保持一定的"维度拓展"和"几何结构"，使得不同输入对应不同的表示，预测器才能真正学到有意义的动力学。

JEPA的吸引力在于其计算效率和对任务导向表征的自动聚焦。它不生成像素，因此省去了解码器的庞大开销；它的学习目标自然引导编码器关注那些"对未来预测有用"的特征，而非那些"视觉上显著"的特征。目前，V-JEPA等早期工作已经在视频理解基准上展示了JEPA路线的潜力，但与生成式模型的成熟度相比仍有差距。未来，生成式与JEPA的融合可能产生更强大的世界模型——在表示空间中进行粗粒度的预测，再根据需要调用生成器来可视化关键帧。

3.3 物理信息网络与混合方法

除了纯数据驱动的生成式和JEPA路线，另一条有前景的方向是将物理先验（Physical Priors）显式地注入世界模型。物理信息神经网络（PINNs）、可微分物理模拟器、神经符号推理等方法试图在数据学习中加入动量守恒、刚性约束、接触力学等规则，从而增强模型在分布外场景下的泛化能力和因果一致性。例如，在预测抛射体轨迹时，嵌入牛顿运动方程的模型可以仅通过少量观测数据就能精确外推长时域轨迹，而纯数据驱动模型则需要大量样本才能近似拟合。

混合方法的挑战在于如何在灵活性与精确性之间取得平衡，以及如何设计可微分的物理引擎使其与现代深度学习框架无缝对接。这一方向目前仍处于早期探索阶段，但已展现出在科学仿真和精密操作领域的独特优势。

第四章 具身智能的引擎：VLA智能体与世界模型的深度融合

4.1 VLA模型的困境：物理幻觉与规划不可执行

视觉-语言-动作（VLA）模型自诞生以来，便承载着将互联网级语义知识与机器人控制相结合的宏大愿景。通过继承预训练的视觉-语言模型权重，VLA模型可以理解开放式指令，在陌生环境中展现出令人印象深刻的泛化能力。然而，当VLA模型被部署到真实机器人上时，三个致命的缺陷开始暴露：

第一，物理幻觉——模型生成的轨迹可能违反基本的物理规律，例如要求机械臂穿越桌面或无视重力抓取物体。这是因为VLA的训练数据多为静态图像和文本，缺乏对交互动力学的建模，其"动作生成"实质上更像是对训练集中动作模式的插值，而非基于物理因果的推理。

第二，规划不可验证——LLM输出的长程任务计划（"先抓取螺丝刀，再拧下螺丝"）在符号层面看似合理，但无法被自动验证其在实际物理条件下的可执行性。计划中的每一个步骤都可能因为接触摩擦、物体形状偏差或环境遮挡而失败，而这些物理细节在大语言模型的抽象推理中完全被忽略了。

第三，数据稀缺与安全风险——与文本和图像数据不同，高质量的机器人操作数据（包含精确的关节角度、力矩、力觉反馈）获取成本极高，且真实环境中的试错学习可能造成设备损坏或人身伤害。

4.2 四大范式：世界模型如何为VLA注入"物理大脑"

针对上述困境，2026年同济大学发布的全球首篇VLA智能体世界模型综述，提出了一个清晰的四大范式分类框架。这四种范式并非相互排斥，而是构成了一个从"规划"到"执行"再到"数据生成"与"策略优化"的完整闭环：

【插图 5】VLA智能体世界模型四大范式 来源：原论文或网络
说明：将现有方法划分为世界规划器（World Planner）、世界动作模型（World Action Model）、世界合成器（World Synthesizer）和世界模拟器（World Simulator）四大范式，并梳理各自演化轨迹。

• 范式一：世界规划器（World Planner）
• 该范式将世界模型作为一个前向动态预测器，为高层规划提供物理可行性验证。具体而言，规划器先通过视频扩散模型或隐式预测器生成未来状态的表征（像素级或特征级），然后动作模型据此推导出具体的控制指令，以确保动作的执行结果与预测的状态一致。代表性工作如UniPi（通过逆动力学从未来帧反推动作）和SuSIE（在隐空间中规划再解码）。世界规划器的价值在于"先预判、后行动"，使得VLA智能体不再盲目听从语言模型的指令，而是具备了对物理后果的评估能力。
• 范式二：世界动作模型（World Action Model，WAM）
• 该范式更进一步，将世界状态的预测与动作的生成整合在同一个联合模型中，即同时建模联合分布 p(o', a | o, l)。WAM不再区分"规划器"和"执行器"，而是让环境动态和运动控制在共享表示中协同演化。其优势在于避免了级联误差的累积，能够捕获状态与动作之间的深层耦合关系。本文第五章将专门深入讨论级联式与联合式WAM的架构权衡。
• 范式三：世界合成器（World Synthesizer）
• 该范式并不直接服务于在线决策，而是作为一个"数据工厂"，通过生成海量的合成视觉-动作轨迹来扩充训练集，从而缓解真实数据的稀缺问题。合成器可以是动作条件的视频生成模型（给定动作序列生成未来的观测帧），也可以是无动作的纯视觉生成器（配合逆动力学推导动作）。以DreamGen和Genie Envisioner为代表的工作，已经展示了合成数据在提升模型泛化性和鲁棒性方面的显著价值。
• 范式四：世界模拟器（World Simulator）
• 该范式将世界模型打造成一个完整的虚拟仿真环境，结合外部奖励评估器，让VLA智能体在"想象"中进行强化学习，完全规避真实世界的试错风险。模拟器不仅要预测状态转移，还需提供奖励信号（稀疏或稠密），使得智能体能够在想象轨迹上通过反向传播或蒙特卡洛树搜索来优化策略。World4RL和SRPO等系统已经在桌面操作和导航任务上展示了这一范式的有效性。

4.3 泛化瓶颈的突破：从Bi-Adapt到VLOA双引擎架构

尽管四大范式提供了理论蓝图，但真正将世界模型推向真实场景的考验，在于跨物体、跨任务、甚至跨本体的泛化能力。RoboScience团队在ICRA 2025和2026上的连续获奖工作，为这一难题提供了极具启发性的答案。

【插图 6】Bi-Adapt框架Pipeline 来源：原论文或网络
说明：Bi-Adapt将跨类别双臂操作分为动作学习、可供性迁移、少样本适配和最终执行四个阶段。仿真测试显示在五类新类别双臂操作任务上成功率达到59%—70%。

首先，Bi-Adapt框架专注于一个看似具体但极具代表性的难题：如何将双臂操作经验迁移到全新的物体类别？其解决方案可以概括为三步：

1. 在已知类别上学习双臂协同模式，并采用"反向数据流"训练——先训练第二只夹爪如何配合第一只，再训练第一只如何产生更利于配合的动作。
2. 利用扩散特征（DIFT）等视觉基础模型建立新旧物体间的语义对应，将源物体的成功接触点"映射"到目标物体上，生成候选操作方案。
3. 通过少量真实试错快速滤除物理上不可行的候选点，修正接触位置和动作方向，最终在新物体上取得高成功率。

Bi-Adapt的成功揭示了"经验迁移 + 视觉对应 + 少量物理验证"这一范式在打破泛化瓶颈上的巨大潜力。

【插图 7】VLOA双引擎架构图 来源：原论文或网络
说明：RoboScience提出的VLOA（Vision-Language-Object-Action）框架，上层是具身世界模型（负责语义理解和物体轨迹预演），下层是通用操作模型（负责将物体轨迹映射到具体机器人动作），通过Object Trajectory（物体3D连续点云轨迹）作为中间表示连接双引擎。

在此基础上，RoboScience提出了更为宏大的VLOA（Vision-Language-Object-Action）框架，其核心洞察是：在传统的VLA链路中插入一个关键的"Object Trajectory（物体三维连续点云轨迹）"中间表示层，从而将整个系统解耦为上下两个引擎：

• 上层"具身世界模型"：负责语义理解、任务规划和物体级的状态变化预测。它从互联网视频、文本说明、人类演示中学习"物体应该如何被操作"的常识，并输出物体在三维空间中的理想轨迹（例如，要打开瓶盖，物体应该绕其轴线旋转上升）。
• 下层"通用操作模型"：负责将抽象物体轨迹映射到具体机器人本体的关节动作。它学习的是运动学、动力学、接触力学和实时反馈控制，可以通过自研物理引擎大规模仿真训练，并适配多种末端执行器（灵巧手、夹爪、吸盘等）。

这一双引擎架构的精妙之处在于，通过统一的Object Trajectory接口，两种来源（语义世界和物理世界）的数据第一次被纳入同一个学习体系——上层模型不必关心机器人构型，下层模型不必关心任务语义，而两者的协作却能够实现任意机器人在任意物体上完成任意任务的终极目标。在2025年已经验证的"拼家具"等高精度长程任务中，VLOA框架展现出了远超传统VLA模型的稳定性和泛化性，这无疑为世界模型在具身智能中的落地提供了一个极具工程可行性的参考范式。

第五章 动作与世界的耦合：级联与联合WAM的深度解析

5.1 级联WAM：模块化的优势与误差累积的代价

在世界动作模型（WAM）的版图中，级联式（Cascaded）设计是最早被采纳且最直观的方案。其流水线清晰分为两个阶段：

1. 世界预测阶段：利用一个强大的世界模型（通常是一个视频扩散模型或自回归隐预测器）生成未来状态的表征——可以是像素级未来帧（显式规划），也可以是潜在空间的隐向量序列（隐式规划）。
2. 动作解码阶段：根据预测的未来状态，通过一个独立的动作模块推导出具体的控制指令。在显式规划中，常用逆动力学模型（IDM）从相邻帧的像素变化反推动作；在隐式规划中，则通过另一个神经网络将隐状态映射为关节角度或速度。

级联WAM的最大优势在于模块化和可复用性——世界预测模块可以直接利用互联网规模的视频预训练模型，无需任何机器人动作标签；动作解码模块则可以在专用的小规模机器人数据集上训练，两者互不干扰。UniPi、SuSIE和3D-VLA等早期成功案例均采用了这一范式。

然而，级联设计的隐患在于误差的逐级放大。世界模型在长时域预测中不可避免地产生累积偏差，而这些偏差将毫无保留地传递给动作解码器，导致最终执行的动作与现实状态严重偏离。此外，世界模型的"预测目标"与动作解码器的"优化目标"并不一致——前者追求视觉逼真度，后者追求控制精度，两者之间的缝隙往往需要大量工程技巧来弥合。

【插图 8】WAMs代表性作品的时间演进与分类
说明：左侧分支展示联合WAM架构的进展（自回归与扩散），右侧分支总结级联WAM流水线的发展，沿显式和隐式表示对齐轨迹演进。

5.2 联合WAM：端到端耦合的挑战与机遇

联合式（Joint）WAM试图从根本上解决级联误差问题。其核心理念是：将未来状态预测与动作生成视为同一枚硬币的两面，在单一架构中同时输出两者，并通过统一的目标函数进行端到端训练。这样，世界建模和动作生成在共享的表示空间中协同演化，迫使模型同时内化环境动态与控制逻辑之间的因果依赖关系。

目前联合WAM的实现分为两大流派：

• 自回归生成派：将观测Token和动作Token统一为序列，采用自回归Transformer同时预测下一观测和下一动作。代表性工作如GR-1、WorldVLA和UniVLA，它们将视频预训练骨干扩展为"视频-动作"联合序列模型，在长程任务中展现出卓越的时空一致性。
• 扩散生成派：利用扩散模型强大的多模态分布建模能力，在去噪过程中联合推理未来帧和动作序列。PAD（Planning as Diffusion）和英伟达Cosmos Policy等模型，将动作生成视为条件扩散过程，同时以当前观测和任务目标为条件，迭代优化出连贯的未来状态-动作配对。

联合WAM的优势不言而喻：信息瓶颈被压缩至最低，反馈回路更加直接，物理推理的准确性显著提升。但其代价同样高昂：训练需要同时具备观测和动作标注的数据，这类数据的规模远小于纯视频或纯文本数据；模型的参数规模和计算开销也往往更大；此外，端到端的黑箱特性使得调试和可解释性变得更加困难。

5.3 架构选择的启示：两种路线并非零和

从目前的行业趋势来看，级联与联合WAM之间并非"谁将取代谁"的零和竞争。更有可能的格局是：级联WAM作为一种数据高效的快速部署方案，将在数据稀缺的领域（如医疗机器人、家庭服务）继续发挥作用；而联合WAM则随着数据集的不断丰富和计算资源的增长，逐渐成为长程、高精度任务的主流选择。未来，混合架构（例如联合模型提供初始预测，级联微调模块进行在线修正）可能成为一种折中方案，兼顾两者的优势。正如英伟达Cosmos 3所展示的，其双塔MoT架构本质上就是一种灵活的组合——推理塔（自回归）和生成塔（扩散）通过联合注意力机制深度耦合，但保留了各自的模块化特性，这或许代表了下一阶段的架构发展方向。

第六章 数据困境与合成生态：突破具身学习的瓶颈

6.1 具身数据的"十万年"落后

UC Berkeley的Ken Goldberg教授在ICRA 2026上发表了一组令人警醒的数据：目前公开可用的机器人操作数据总量，仅相当于人类在现实世界中通过试错积累的经验的"十万分之一"。与文本和图像数据不同，机器人交互数据必须通过物理实体在真实环境中执行动作才能采集，这个过程不仅缓慢且昂贵，还受限于硬件规格、安全规范和场景多样性的诸多约束。Goldberg据此尖锐地提问："如果你相信数据万能，那么请面对这个事实：具身数据规模落后了十万年——我们是否应该寻找其他出路？"他的答案指向了常识推理和认知先验——即通过先验知识来弥补数据匮乏，而非一味地追求更大规模的数据采集。

6.2 四大数据源及其局限

当前WAM和VLA模型的训练数据主要来源于以下四个渠道，每个都有其固有缺陷：

• 机器人遥操作数据：最直接、最准确，但采集成本极高，且受限于特定的本体和场景。OXE、DROID等数据集虽规模可观，但远未覆盖真实世界的多样性。
• 便携式人类演示（UMI）：利用手持夹具让人类直接演示任务，绕开了机器人硬件的约束，大幅提高了采集效率。但人类与机器人的运动学和动力学差异，导致演示数据与机器人执行之间仍存在较大的"现实鸿沟"。
• 仿真数据：在虚拟环境中可以无限生成带完美标注的轨迹，成本几乎为零。然而，仿真到现实的迁移（Sim-to-Real）因物理引擎的简化、视觉渲染的差异以及接触动力学的建模误差而困难重重。
• 互联网第一人称视频：如人类佩戴头戴相机录制的日常活动视频，其中包含了丰富的交互语义和视觉动态。但这类数据缺乏精确的动作标签，如何从人类动作中"接地"到机器人动作，仍是一个未完全解决的难题。

6.3 世界合成器作为"数据工厂"的崛起

面对上述困境，世界模型本身的生成能力提供了一种极具潜力的解决方案——即"世界合成器"范式。合成器的思路是：既然真实数据稀缺，那就用世界模型自己"想象"出足够多的训练样本。具体而言：

• 可以从一个初始的真实轨迹出发，通过条件视频生成模型（动作条件型）生成同一场景在不同光照、视角或物体姿态下的变体，从而实现对数据分布的插值和外推。
• 或者，先合成视觉轨迹（无动作），再通过预训练的逆动力学模型反推动作标签，从而实现从纯视频数据到可训练轨迹的转换。
• 更高级的方案（如DreamGen和GigaWorld）甚至可以从文本描述或概念图出发，生成完整的虚拟任务轨迹，为VLA模型提供几乎无限的新奇场景。

这些合成数据不仅极大地扩充了训练集的规模，更重要的是，它们可以覆盖那些在真实世界中难以获取的"边缘情况"和"危险场景"（如机械臂即将碰撞的瞬间、物体滑脱的动力学边界），从而显著提升模型的鲁棒性和安全性。尽管合成数据的保真度和物理一致性仍需提升，但它已被公认为突破具身数据瓶颈的最有希望的技术路径之一。

第七章 平台与开源：英伟达Cosmos 3的生态雄心

7.1 从"理解-生成-动作"三位一体到双塔MoT架构

2026年6月，英伟达发布了Cosmos 3——一个面向物理AI的全能型世界模型，其口号是"理解-生成-动作统一开源物理世界模型新SOTA"。Cosmos 3的核心技术创新在于其混合Transformer（Mixture-of-Transformers, MoT）双塔架构：

• 推理塔（Reasoner Tower）采用自回归范式，负责读取语言、图像、视频等多模态输入，进行链式推理和语义理解，输出文本形式的计划或判断——类似大脑的"前额叶皮层"。
• 生成塔（Generator Tower）采用扩散范式，负责从噪声中逐步雕刻出图像、视频、音频乃至动作序列——类似大脑的"运动皮层和小脑"。
• 两座塔通过双流联合注意力（Dual-Stream Joint Attention）机制在每一层互相交换信息，使得推理塔能够根据生成塔的物理可行性修正计划，生成塔也能根据推理塔的意图约束生成过程。这种设计首次在工程层面实现了"想"与"做"的深度耦合，而非简单的流水线拼接。

【插图 9】Cosmos 3双塔MoT架构
说明：Cosmos 3采用Mixture-of-Transformers（MoT）双塔架构——Reasoner Tower（自回归VLM，负责推理理解）和Generator Tower（扩散模型，负责生成图像/视频/动作），通过双流联合注意力机制深度耦合。

7.2 统一的动作表示：为物理世界建立"通用语"

Cosmos 3的另一项关键创新是统一动作表示（Unified Action Representation）。在传统系统中，自动驾驶汽车用方向盘角度和速度表达动作，机械臂用关节角度序列，人形机器人用全身关节坐标，第一人称视频用头部位姿——每种形态都说着不同的"动作方言"，使得跨本体学习几乎不可能。

Cosmos 3提出了一个简洁而通用的动作分解方案，将任何动作映射为三个语义单元：

• 自我姿态（Ego Pose）：9维（3D位置+6D旋转），表示智能体本体的全局位姿。
• 执行器姿态（Effector Pose）：9维，表示末端执行器或工具的位置与朝向。
• 抓取状态（Grasp State）：15维（手指关节角度）或1维（二值抓取），描述交互细节。

这一表示不依赖于特定的机器人构型，也不受制于特定的运动学链，因此任何动作都可以被投影到这一共享的几何空间中，再由领域感知的投影层"翻译"回各自的本体控制指令。这套"物理世界通用语"使得Cosmos 3能够在来自汽车、无人机、机械臂、人形机器人等异构数据源上联合训练，实现了知识的跨平台迁移。

7.3 开源战略：培育物理AI生态的操作系统

比起模型本身，更值得深思的是英伟达的开源策略。Cosmos 3不仅公开了模型权重，还开源了完整的训练脚本、代码库以及五个大型合成仿真数据集（涉及物理仿真、机器人操控、自动驾驶、合成人类和仓储物流等场景）。其开源协议（OpenMDW-1.1）极为宽松，几乎允许任何商业和非商业用途。

这一策略与Android早期的开源逻辑如出一辙。英伟达深知，物理AI的最大瓶颈不在算力（那是它的核心业务），而在于数据的匮乏和生态的碎片化。通过将Cosmos 3打造为一个开源的"世界模型底座"，英伟达实质上是在降低整个行业的进入门槛——更多的开发者能够低成本地获取高质量的基础模型和仿真数据，从而催生出更多样化的应用和更多维的数据积累。当整个物理AI生态都依赖Cosmos作为其"物理常识引擎"时，对英伟达GPU的渴求将随着生态繁荣而指数级增长。这已不再是一个单纯的技术产品发布，而是一场面向未来的平台战争。

第八章 批判与前瞻：LeCun与Goldberg的冷思考

8.1 LeCun的VLA失败论与目标驱动AI

在众多乐观的声音中，Yann LeCun的态度显得格外冷静甚至严厉。他在多个场合直言："VLA pretty much seen as a failure"（VLA在当前范式下已接近失败）。他给出的理由直指核心：VLA模型本质上仍是反应式的感知-动作映射，缺乏对行动后果的内在预测能力，其可靠性完全依赖于训练数据对场景覆盖的完整性，一旦遭遇分布外情况，其表现会急剧恶化。LeCun认为，这种脆弱性不是通过增大模型或扩充数据能够解决的，而是需要在架构层面进行根本性变革。

他提出的目标驱动AI（Objective-Driven AI）框架，正是这一变革的蓝图。在这一框架中，智能系统不再直接学习"输入→输出"的映射，而是通过四个关键模块协同工作：

1. 世界模型：预测行动对世界的后果。
2. 成本/价值模块：评估预测状态是否接近目标。
3. 配置器：负责任务的分解和子目标设定。
4. 行动者（Actor）：执行规划好的动作序列。

整个系统通过"预测-评估-重规划"的闭环持续优化，而不是一次性生成最终输出。这一架构天然支持多步规划、反事实推理和不确定性量化，在LeCun看来，这才是通往安全、可控、可泛化智能的正确道路。

8.2 JEPA与表示学习的关键挑战

作为目标驱动AI的核心组件，LeCun所倡导的JEPA（Joint Embedding Predictive Architecture）在学习范式上完全不同于主流的生成模型。但JEPA要真正落地，必须攻克表示坍缩这一技术堡垒。目前的解决方案——无论是对比学习中的大量负样本，还是VICReg中的方差-协方差约束，抑或SIGReg的谱正则化——都在尝试在"表示空间具有足够丰富的几何结构"和"预测任务保持简洁易学"之间寻找平衡。这一方向的研究仍处于高速演进之中，但其成败将直接决定JEPA路线能否在规模上与生成式模型竞争。

8.3 开源与安全的再平衡

LeCun还特别强调了开源平台在AI安全发展中的关键作用。他明确指出"开源生态最终会赢得平台战争"，并提出了Tapestry联邦训练机制——一种允许不同机构在不共享原始数据的前提下联合训练基础模型的技术框架。这不仅能够打破数据孤岛，促进知识共享，还能通过分散化的模型开发降低单一主体控制带来的风险。在具身智能领域，Tapestry的潜在价值尤其突出，因为机器人数据往往涉及隐私（家庭环境）和商业机密（工业产线），联邦训练可以在不泄露敏感信息的前提下，汇聚全球的机器人大脑智慧。

8.4 Goldberg的反数据万能论与认知先验

Ken Goldberg的批判则聚焦于方法论层面。他并不否认数据的价值，但坚决反对将LLM的成功经验（"更大规模、更多数据"）简单复制到具身智能领域。他指出，物理世界的交互数据具有根本性的"非可扩展性"——你不能像抓取网页文本那样自动地采集机器人在厨房、医院、建筑工地上的操作数据。因此，与其在数据规模上徒劳追赶，不如大力投资于认知先验——即利用人类关于物理世界的常识性知识（如物体功能、空间关系、因果链）来引导模型学习，从而在极少样本下实现泛化。这一思路与近年兴起的"基础模型+提示工程"有共通之处，但更强调对物理规律的结构化编码，而非单纯的语义检索。

结论：融合之路，通向统一的物理智能

纵观全文，我们清晰地看到了三条技术主线的交汇与共振。第一条是架构的统一——DiT及其后继者证明了Transformer可以同时作为理解、生成和规划的统一基座，为多模态融合提供了稳固的计算骨架。第二条是目标的统一——从像素重建到表示预测，从反应式映射到前瞻性模拟，世界模型的研究者们在方法论上虽有分歧，但共同追求着一个目标：让机器内部拥有一套可交互、可反事实推演的环境模拟器。第三条是生态的统一——英伟达的开源战略、RoboScience的VLOA双引擎、LeCun的Tapestry联邦训练，都在试图打破数据孤岛和平台壁垒，构建一个共享共荣的物理AI开发者社区。

这三条主线的汇聚点，正是我们预言的"双核智能系统架构"：

• 语言认知核心（LLM）：负责处理自然语言、抽象推理、知识检索和与人类的语义交互。
• 物理世界核心（世界模型）：负责感知高维观测、预测行动后果、在状态空间中进行多步搜索规划、并输出物理一致的动作指令。
• 统一中间接口（如Object Trajectory或Unified Action Representation）：使得两大核心能够通过标准化格式交换信息，实现"你说我听、我动你看"的双向闭环。

这一架构的雏形已在RoboScience的VLOA和英伟达的Cosmos 3中初现端倪。尽管距离真正通用的具身智能还有漫长道路——物理一致性、长时域精度、样本效率、安全可靠性等挑战依然严峻——但方向已经清晰。下一个十年，AI的竞争将从"谁更会聊天"全面转向"谁更懂物理世界"，而在这场竞赛中，统一世界模型将成为最关键的技术底座。那些能够将"理解"与"行动"无缝融合的系统，终将率先跨越从数字智能到物理智能的鸿沟，让机器真正"活"在我们的世界里。

参考文献

[1] 图灵奖得主LeCun，关于大模型的下一步来了.微信公众号（图灵人工智能）, 2026-06-12.

[2] 扩散模型之DiT：为世界模型铺路的 Transformer 革命.微信公众号（吴博士讲AI）, 2026-06-12.

[3] 【综述】世界模型：架构、方法、推理与应用全景.微信公众号（专知）, 2026-06-03.

[4] 世界动作模型: 具身AI的下一个前沿.微信公众号（专知）, 2026-05-14.

[5] 2026最新VLA智能体世界模型综述：四大范式、全生态、未来方向全解析.微信公众号（视觉语言导航）, 2026-04-15.

[6] RoboScience机器科学如何突破具身智能泛化瓶颈？微信公众号（机器之心）, 2026-06-07.

[7] 本周具身智能论文：机器人正在补齐"看懂、会想、能动手"的最后一公里.微信公众号（机器智能之心）, 2026-06-05.

[8] 英伟达Cosmos 3晓读：理解-生成-动作统一开源物理世界模型新SOTA，超越闭源.微信公众号（旺知识）, 2026-06-06.

[9] UC Berkeley Ken Goldberg 教授：具身数据规模落后十万年，你仍然相信数据万能吗？| ICRA 2026.微信公众号（机器之心）, 2026-06-07.

撰写 & 整理 by 高泽龙（微博实名认证）欢迎各类洽谈，共创未来！

具身智能深度信仰并且笃行推动者~