Bagel Labs提出WorldDiT，用统一扩散骨干网络同时建模世界与动作

当前，机器人操控领域的生成式世界模型不仅需要输出精准的连续动作块，还需隐式建模视觉动态因果关系，以支持长期任务执行中的反应式重规划。然而，现有主流的VLA策略大多依赖数十亿参数的预训练VLM作为动作主干，其优异表现高度依赖互联网规模的先验知识，这既模糊了架构创新与规模增益的边界，也限制了其在算力受限平台上的部署。

针对这一问题，本文介绍由Bagel Labs团队提出的WorldDiT框架，旨在不依赖大型预训练VLM作为动作主干的前提下，以统一的轻量级扩散Transformer架构耦合连续动作生成与视觉世界建模，在标准机器人操作基准上达到具有竞争力的性能。该方法将动作生成与辅助性未来归一化RGB块预测统一于流匹配目标，利用冻结的MAE与CLIP编码器提取多模态上下文，并采用训练时启用视觉预测、推理时完全丢弃的解耦策略，仅以135M训练参数实现实时滚动的时域控制。实验表明，WorldDiT在LIBERO四个下游套件的500轮评估中平均成功率达94.9%，在参数效率与任务成功率上显著优于OpenVLA等大规模VLM基线。

论文题目：
WorldDiT: A Unified Diffusion Architecture for World and Action Modeling

文章链接：
https://arxiv.org/abs/2607.23909

项目地址：
https://huggingface.co/bageldotcom/worlddit

一、引言

当前机器人操控策略的SOTA范式遵循一种“从语言模型继承”的模式，即将动作生成模块挂载在冻结或微调的大型预训练VLM上。这种范式的核心逻辑是利用VLM在互联网规模数据上学习到的强大感知和语义理解能力来指导动作。然而，这一模式会导致两个问题：

（1）贡献混淆：当策略体量达到数十亿参数时，动作解码设计与预训练主干网络对最终操控表现的各自贡献便难以剥离，这使得架构创新与规模增益的边界变得模糊。

（2）计算与部署瓶颈：大规模VLM推理开销巨大，不利于部署在计算资源受限的机器人平台上。

因此，本文试图剥离大模型的规模变量，纯粹从架构设计和训练目标的角度出发，探究是否能在不依赖VLM动作主干的前提下，探索扩散模型在“世界-动作”联合建模中的上限。

二、本文方法

WorldDiT 的核心设计目标在于以一个共享的扩散 Transformer（DiT）骨干网络，同时建模连续动作空间与未来视觉 patch 空间的速度场。给定长度为 的轨迹片段，模型将前 步作为观测上下文，并在当前控制步同时预测长度为 的动作块以及未来第 步的归一化 RGB patch 目标。设轨迹片段为：

其中， 、 分别为主、腕摄像头图像， 为状态， 为动作。对当前控制步 ，模型预测：

同时，从未来第 步的主摄像头与腕部摄像头帧中，将每张 图像划分为 的 patch，展平为 768 维向量并逐块归一化，每张图像保留 64 个 patch，两视角共 128 个 token，构成归一化RGB patch目标：

2.1 用统一的多模态 token 表示当前上下文

WorldDiT 首先将观测上下文压缩为统一的条件表示，再将其注入共享的扩散Transformer骨干网络。为防止动作查询分支间接利用未来视觉监督信息，模型在注意力机制中设计了严格的块级因果约束与动作mask。动作token仅允许关注当前及历史步骤的上下文，无法访问被加噪的RGB patch目标。该设计使得未来视觉目标在训练阶段能够提供有效的辅助监督信号，而在推理时则完全不影响计算图。

在输入侧，WorldDiT 为每个时间步构造一个状态 token、一个语言 token 和若干视觉 token，再通过可训练投影对齐到统一空间中。这意味着模型内部并不是简单拼接不同模态，而是把观测、语言和状态整理成一套可被同一个 DiT 处理的时序条件。

2.2 训练阶段

WorldDiT 采用流匹配（Flow Matching）[1] 作为生成建模框架。与扩散模型常采用的噪声预测或分数匹配不同，流匹配直接回归从高斯噪声到干净样本的确定性概率路径的速度场，训练过程更为稳定高效。具体而言，对于任意目标样本 （可以是动作块 或归一化 RGB patch 目标 ），首先从标准高斯分布中采样噪声 ，然后从均匀分布中采样时间步 ，构造从噪声到目标的线性插值路径：

当 时， 为纯高斯噪声。当 时， 即为干净目标样本 。WorldDiT 骨干网络 以噪声化后的动作 token 或 RGB patch token 、当前时间步 、以及上下文条件 为输入，预测该路径下的速度场。训练目标为回归上述速度场，采用均方误差损失：

WorldDiT 的训练总损失为动作速度场损失与 RGB patch 速度场损失的加权和：

其中， 与 分别为动作损失与 RGB patch 损失的权重系数。在 LIBERO 的微调阶段，两者分别设为 和 ，视觉预测损失作为辅助正则项，以较低的权重引导模型学习环境动态而不干扰主任务的动作学习。

2.3 推理阶段

如上图所示，推理阶段只保留动作路径，从而实现轻量高效的控制推理。WorldDiT 不再使用未来 RGB patch 目标，也不需要未来动作标签。模型只接收截至当前控制步 的 步历史观测，包括语言指令、视觉观测和机器人状态：

其中， 表示语言指令， 表示第 步的多视角视觉观测， 表示机器人状态。该历史信息经过与训练阶段相同的多模态编码路径，被映射为条件表示 。需要强调的是，推理阶段只保留动作生成分支，RGB patch token 和 RGB 预测头不会进入推理计算图。动作生成从高斯噪声初始化：

随后，WorldDiT 使用学习到的动作速度场进行数值积分：

经过 步积分后，最终流状态即为预测得到的动作块：

在实际控制中，模型不会一次性执行完整动作块，而是执行其前缀动作，随后观测新的环境状态，更新历史窗口并重新规划。

三、实验结果

WorldDiT 在 LIBERO [2] 机器人操作benchmark上展开评估，涵盖 libero_spatial、libero_object、libero_goal 及 libero_10四个下游套件，并利用大规模多任务 libero_90 划分进行预训练。原始演示数据被转换为固定长度窗口，每个窗口包含多视角 RGB 观测、机器人状态、语言指令及对应的动作序列，其中未来主摄像头与腕部摄像头帧被用作辅助的归一化 RGB patch 目标。视觉观测、语言指令与机器人状态分别由冻结的 MAE 图像编码器、冻结的 CLIP 文本编码器以及可训练的机器人状态编码器处理，所得 tokens 拼接后送入到 WorldDiT 骨干网络中。

3.1 定量实验结果

上表列出了24种已报道方法在LIBERO四个套件上的具体成功率数值，并按是否使用大型预训练VLM作为动作主干进行分组对比。在“无大型预训练VLM动作主干”分组中，WorldDiT的均值显著高于DreamVLA（92.6%）、FlowVLA（88.1%）等同类方法，而总参数量仅3.99亿，显著小于这些方法，表明在精细比较层面，WorldDiT同样表现出强劲的竞争力。

上图展示了24种方法在LIBERO上的平均成功率与总实例化参数量的散点分布。横轴为总参数量，纵轴为平均成功率。所有成功率更高的方法参数量均显著更大，而所有参数量更小的方法成功率均更低。这一实验结果对比表明，WorldDiT未依赖参数规模扩张换取性能提升，而是在紧凑参数预算下给出了具有竞争力的结果。

3.2 定性实验结果

上图展示了WorldDiT在LIBERO上的成功执行轨迹可视化，旨在验证模型在多类操控任务中的实际执行效果。图中选取了各套件中的典型任务，呈现了模型从初始状态到任务完成的关键帧画面，涵盖空间关系推理、物体交互、目标导向操作以及长序列多阶段操作等不同难度层次的任务类型。可视化结果表明，WorldDiT能够在不同场景下生成连贯的动作序列并顺利完成操作，直观地验证了模型在多样化操控任务中的有效性。

四、总结

WorldDiT 把世界建模和动作生成统一到一个扩散 transformer 中，在流匹配框架下将连续动作生成与辅助性未来归一化RGB块预测耦合在同一骨干网络中。训练时，未来视觉预测作为辅助监督信号引导模型学习环境动态。推理时该分支完全移除，仅保留动作生成路径，实现了零额外开销的轻量部署。在LIBERO四个下游套件的500轮评估中，WorldDiT以3.99亿总参数量达到了94.9%的平均成功率。这一结果有力证明了紧凑架构与联合训练目标可以在不依赖大VLM的前提下取得与SOTA方法相当的操控性能，为计算受限平台上的具身智能部署与后续研究提供了一个优秀的基线。

参考

[1] Lipman, Y., Chen, R. T., Ben-Hamu, H., Nickel, M., & Le, M. (2022). Flow matching for generative modeling. arXiv preprint arXiv:2210.02747.

[2] Liu B, Zhu Y, Gao C, et al. Libero: Benchmarking knowledge transfer for lifelong robot learning[J]. Advances in Neural Information Processing Systems, 2023, 36: 44776-44791.

Illustration From IconScout By IconScout Store

5 位不同来路的具身创业研究者闭门聊天局

详情点击图片跳转

9月28日晚@美国匹兹堡

「IROS 2026 群星闪耀 精英晚宴」

免费报名，期待线下见面！

北京时间9月25日(周五) 12:00截止报名

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈