InternW0-Δ：让机器人"预判未来"的世界动作模型

2026年秋天，上海人工智能实验室放出一份技术报告的时候，很多做机器人的人第一反应是：又一个大模型？

但仔细看进去会发现，这次的东西有点不一样。它不是又造了一个更大的Transformer去硬吃数据，而是在琢磨一个几乎所有做机器人策略学习的人都遇到过、却很少有人正面解决的矛盾：视频生成模型明明能预测出未来会发生什么，但这种预测能力，到底怎么才能真正变成机器人手臂该往哪儿伸、手指该怎么捏的具体动作？

这篇报告的主角叫InternW0-Δ，一个基于超过2万小时开源数据训练出来的"世界动作模型"。

先说说这个"难"到底难在哪。

预测未来和做出动作，是两件事

想象一下你在看一段做菜视频，你能大致猜到下一秒锅里的油会开始冒烟，青菜下锅后颜色会变绿。这是"预测能力"。但如果现在让你亲自上手炒菜，光靠"知道接下来会发生什么"是不够的，你还得知道锅铲什么时候该翻、力道多大、手腕怎么转。这是"动作能力"。

WAM（World Action Model，世界动作模型）：一类同时建模视觉世界如何演变、以及机器人动作该如何生成的模型，试图把"看懂世界"和"操作世界"这两件事放在一个框架里做。

过去几年，视频生成模型（比如各种能"P"出未来画面的AI）确实在预测视觉动态上突飞猛进。但研究者发现一个尴尬的事实：一个模型即便能生成逼真的未来视频，也不代表它知道怎么控制机械臂去实现那个未来。这中间缺了一环，动作生成需要的是识别哪些变化和任务真正相关、理解物体几何和运动方式、并且把这些线索和当前的指令、场景绑在一起。

这就好比一个人看了很多年的烹饪节目，对"菜应该长什么样"了如指掌，但从没真正颠过勺，手上功夫是零。看懂和做到之间，隔着一堵墙。

如果不解决这堵墙的问题会怎样？此前的一些方法选择了一条看似直接的路：让模型在做动作决策的时候，先在脑子里"想象"一段未来视频，再根据这段想象生成动作。这个思路直觉上没错，但代价很大，生成一段视频需要的计算量远超生成几个动作数字，这意味着机器人每做一个动作决策，都要先在后台跑一次视频生成，速度慢得离谱，根本没法实时反应。

InternW0-Δ想解决的核心问题正是这个：怎么把"预判未来"这件事在训练阶段完成，让模型把这种预判能力内化成一种直接可用的表示，而在真正干活（推理）的时候，完全不需要再生成未来视频，直接出动作。

这就像学生时代考试前的复习和考场答题的关系。复习阶段你可以把各种题型、各种套路都琢磨透，甚至可以"预演"考试可能出什么题。但真到考场上，你不会现场再把所有可能性都推演一遍，你靠的是复习阶段已经内化的直觉，直接下笔。如果每次答题前都要重新演算一整套预判流程，考试早就来不及交卷了。

一个由两个"专家"组成的大脑

InternW0-Δ的核心结构，是把一个负责"看懂视觉动态"的视频专家和一个负责"生成动作"的动作专家，用一种叫Mixture-of-Transformers（MoT）的方式绑在一起。

MoT（Mixture-of-Transformers，混合专家Transformer架构）：让不同的神经网络模块各自保留独立参数，处理各自的信息流，但在特定层进行信息交换，既保持专业分工，又能互相沟通。

视频专家这边，继承自一个叫Wan2.2-TI2V-5B的预训练视频生成模型，它见过海量的视频数据，天然知道画面里的东西会怎么运动、怎么变化。动作专家这边是从零开始训练的，专门负责把各种信息汇总成具体的机械臂控制指令。

这两个专家不是各自为战，而是通过30层耦合的注意力模块进行信息交流。你可以把这想象成一个手术室里的场景，主刀医生（动作专家）负责精确操作，而一个经验丰富的影像科医生（视频专家）站在旁边持续给出关于组织变化趋势的判断。主刀医生不需要自己去分析CT片子里的每一个细节演变规律，但他能实时拿到影像科医生消化过的关键信息。如果没有这种分工，主刀医生就得同时兼顾读片和开刀两件事，效率和专注度都会打折扣。

有意思的是，除了这两个专家之外，团队还引入了第三个角色，一个冻结不参与训练的VLM（视觉语言模型），专门负责把当前画面和任务指令结合起来，告诉动作专家"现在场景里有什么东西，指令要求做什么"。

VLM（Vision-Language Model，视觉语言模型）：能同时理解图像和文字的AI模型，可以看图说话，也可以根据文字指令去图里找对应的东西。

为什么要专门加这个VLM？原来的视频专家用的是T5文本编码器来理解语言指令，但T5只处理文字，看不到当前画面。这就好比你告诉一个从没见过厨房实况、只读过菜谱文字的人"把红色的杯子拿到左边"，如果桌上同时摆着红色、蓝色、绿色好几个杯子，光靠文字他根本不知道该动哪个。VLM的加入相当于给这个"读菜谱的人"配了一双眼睛，让他能把文字指令和眼前真实的场景对上号。团队测试发现，把语言模型从Qwen3.5-2B换成RynnBrain1.1-2B之后，LIBERO-Plus基准上的成功率从60.37%直接跳到69.08%，提升了近9个百分点，这说明"给动作专家配一副好眼镜"这件事，收益相当可观。

因果印记：从未来学到东西，但不需要未来

这是整篇报告里我觉得最值得细讲的一个设计，叫Causal Imprint（因果印记）。

Causal Imprint（因果印记）：一种训练时利用未来视频信息来监督、但推理时完全不需要未来视频的表征学习机制，让模型提前"消化"未来会发生什么，把这种消化后的直觉封装进一组可复用的特征里。

具体怎么做的？在训练阶段，模型确实会拿到真实发生的未来画面，用这些真实的未来画面变化去监督一组叫"因果印记token"的可学习向量，让这些token学会捕捉那些和后续任务执行密切相关的场景变化，比如物体开始被抓起、水开始倒出来。但关键的设计是，一旦训练完成，进入实际推理阶段，这些因果印记token只能看到当前和过去的观察，完全接触不到未来画面，它们靠的是训练阶段已经"内化"进参数里的直觉去继续工作。

这套机制让我想起考古学家看化石的方式。化石本身不会动，你也没法穿越回去亲眼看恐龙怎么走路，但一块脚印化石的形状、深浅、间距，已经把"这只恐龙当年怎么走"的信息封装进了石头的纹路里。研究者不需要真的看到恐龙走路的实况录像，通过分析化石就能推断出步态。因果印记token做的事情很像这个化石，它在训练阶段被"未来"打上了印记，之后哪怕看不到未来，光凭这个印记本身携带的信息就足够指导判断。如果没有这个机制，模型就必须在每次决策前真的生成一段未来视频才能获得同等质量的判断依据，那成本就完全不是一个量级了。

论文里的实验数据也验证了这个设计的价值：单独加入因果印记的直接监督（学习相邻未来帧之间的变化）能把成功率从69.08%提到70.80%，看起来涨幅不大，但再加上一个叫"未来特征对齐"的补充目标（让因果印记token去模仿视频专家在处理未来画面时产生的深层表示）之后，成功率一下跳到76.45%，涨了5.65个百分点。这说明两种监督信号是互补的，一个告诉模型"未来的画面像素怎么变"，另一个告诉模型"未来画面背后蕴含的更高层语义是什么"，两者叠加才能把因果印记训练得足够扎实。

给视频专家补一门几何课

除了因果印记，团队还给视频专家加了一项训练阶段专属的"额外辅导课"，叫4D-aware representation distillation（4D感知表征蒸馏）。

4D-aware distillation（4D感知蒸馏）：借助一个专门理解三维几何和运动轨迹的教师模型（叫Track4World），把它对场景几何结构、物体运动方式的理解，蒸馏进视频专家的内部表示里，蒸馏完成后教师模型和蒸馏分支都会被丢弃，不影响推理速度。

这个设计的逻辑是这样的：视频专家虽然懂视觉动态，但它更多是从像素层面理解"画面怎么变"，对于"这个物体在三维空间里到底是怎么移动的""摄像机自身有没有在动"这类几何层面的问题，理解可能没那么精细。Track4World这个教师模型专门擅长干这件事，它能从视频里提取出物体的几何结构、二维和三维运动轨迹、摄像机运动、可见性信息，打包成一个1430维的描述向量。

训练时，团队让视频专家内部一个学生分支去模仿这个教师描述向量。这就像学开车的时候，教练在副驾驶上一边看路况一边给你讲"这个弯道的曲率大概是多少，你现在的车速对应的离心力会怎样"，帮你建立起对物理规律更精细的直觉。等你真正上路独立驾驶的时候，教练已经不在车上了，但那些被反复强化过的直觉已经留在了你的判断里。实验显示，加入这项蒸馏后，LIBERO-Plus的成功率从76.45%又涨到78.37%，进一步验证了几何理解这一课没有白上。

一个值得多说一句的细节是，团队还比较了不同教师模型的效果，用CoWTracker和Pi3X做教师分别只能到76.15%和73.63%，都不如Track4World的78.37%。这说明教师模型的选择本身也有讲究，不是随便找个几何理解模型就能起到同样效果的。

数据这块，才是真正的苦力活

如果说前面讲的模型架构是这篇报告的"巧劲"，那数据处理部分展现的就是纯粹的"力气活"。

InternW0-Δ整合了超过20K小时的训练数据，来源分四大类：真实机器人示范数据（11302小时）、UMI数据（2075小时）、人类第一视角示范数据（4061小时）、以及Ego2Robot转换数据（5634小时）。

UMI（Universal Manipulation Interface，通用操作接口）：一种便携式数据采集工具，可以不依赖固定的机器人硬件，直接由人手持采集操作演示数据。

Ego2Robot：一套把人类第一视角的手部操作视频转换成对应机器人动作数据的处理流程，本质上是让机器人"借用"人类的操作经验。

问题在于，这些数据来自15个以上不同的公开数据集，用的机器人本体不一样，控制方式不一样，坐标系约定也不一样，直接混在一起训练会造成语义错位，比如同样一个数字维度，在这个数据集里代表机械臂第三个关节的角度，在另一个数据集里可能代表夹爪开合的程度，硬凑在一起训练相当于让模型学一堆自相矛盾的东西。

团队的解决方案是设计了一套80维的统一动作表示，给每一个物理量（关节位置、末端执行器姿态、夹爪状态、灵巧手关节等）都分配了固定语义的槽位，不管原始数据来自哪个机器人，都要先转换成这套统一格式才能进入训练。这就像国际贸易里的集装箱标准化，不管货物原来是什么形状、什么包装，进入集装箱运输体系之前都要按统一规格打包，否则港口的吊装设备根本没法批量高效处理。如果没有这套统一格式，每换一个数据源就要单独写一套适配代码，扩展性会差到无法想象。

数据处理过程本身还包括了一套相当细致的过滤流程：信号异常与一致性检测、静态边界裁剪、视觉质量筛查、动作幅度守护、指令正确性与视频指令一致性检查，最后还有人工抽样核验。原始数据合计13867.71小时，经过这一整套过滤后剩下11302.20小时，相当于剔除了近两成不合格或有问题的样本。

人类视频怎么变成机器人训练数据

这里有个特别有意思的技术链条，叫Ego2Robot的转换流程，值得单独说说。

人类拍第一视角操作视频很容易，成本低，量还能做得很大，但问题是视频里的是人手，机器人的执行器长得完全不一样，动作幅度和自由度也不同，怎么把"人怎么做"变成"机器人怎么做"？

整个流程被拆成三步：动作对齐、运动学对齐、视觉对齐。

动作对齐，先把人的手腕姿态映射成末端执行器的目标姿态，同时通过测量拇指指尖到食指中指指尖中点的距离，估算出对应的夹爪开合程度（5厘米对应完全闭合，7厘米对应完全张开）。这一步相当于把人类动作"翻译"成机器人能理解的坐标语言。

运动学对齐，接下来要解决一个更棘手的问题：机器人底座应该放在哪个位置，才能让机械臂真的够得到目标轨迹？团队设计了一套耦合的基座搜索加逆运动学求解算法，从粗到细逐步验证候选基座位置是否可行，同时检查关节限位、碰撞、轨迹连续性等等一大堆约束。这一步很像给一个新搬来的家具找摆放位置，你不能只看沙发本身大小合不合适，还得考虑房间的门能不能进得去、动线会不会挡路、和其他家具会不会打架，是一个综合约束下的搜索问题。

视觉对齐，最后一步是把原视频里的人手用SAM3分割出来抠掉，用ProPainter技术把抠掉的区域修补成看起来自然的背景，再把渲染出来的机器人模型合成进去，还要处理深度关系保证遮挡关系正确。

SAM3：一种能根据文字概念自动分割图像中对应区域的AI视觉工具。

ProPainter：一种视频修复补全技术，能把视频中被去除的部分自然地填补上，让画面看起来完整连贯。

整套流程跑下来，从EgoDex和EgoVerse两个人类视频数据集里，一共转换出了5633.77个机器人训练小时，覆盖373万条训练片段。这相当于把原本只能拍给人看的教学视频，变成了机器人真正能拿来学习的教材，前提是有一整套复杂的流程去做这个"翻译"工作。

跑分说话：几个基准测试上的表现

说了这么多设计理念，最终还是要看实际效果。

在LIBERO-Plus这个专门测试模型在各种扰动条件下（摄像机视角变化、机器人初始位置变化、光照变化、背景变化等）鲁棒性的基准上，InternW0-Δ拿到了92.8%的总体成功率，比之前最强的WAM方法Being-H0.7（84.8%）高出8个百分点，比表现最好的VLA方法Qwen-RobotManip-Context（91.4%）也高出1.4个百分点。特别是在"机器人初始位置扰动"这一项上，达到91.1%，相比之前最好成绩的87.4%提升明显。

VLA（Vision-Language-Action Model，视觉语言动作模型）：一类把视觉理解、语言理解和动作生成结合起来的机器人策略模型，是目前机器人学习领域的主流范式之一。

在RoboTwin 2.0的Clean2Random测试协议下（只用干净环境数据训练，却要在各种随机化环境下测试），InternW0-Δ在Clean2Clean和Clean2Random两项上都拿到最高分，分别是90.0%和71.9%。对比之前最强的WAM方法OpenWAM-α，Clean2Random这一项从48.7%直接提升到71.9%，提升幅度超过23个百分点，这个差距意味着什么？意味着原来每做4次任务大概只有2次能在随机环境下成功，现在能成功接近3次，这对实际部署来说是质的变化。

在专门测试移动双臂操作的EBench上，InternW0-Δ整体得分66.0，在需要多步骤连续操作的Long Horizon任务上表现尤其突出，成功率49.4%，得分76.5，都是所有对比方法里最高的。

在覆盖记忆、精度、长时程执行等多个能力维度的RoboDojo基准上，InternW0-Δ平均成功率23.91%，几乎是此前最强WAM方法OpenWAM-α（11.92%）的两倍。

方法 LIBERO-Plus总分 RoboTwin Clean2Random EBench总分 RoboDojo平均成功率

Qwen-RobotManip-Context 91.4 69.4 60.0 --

OpenWAM-α -- 48.7 64.7 11.92

InternW0-Δ 92.8 71.9 66.0 23.91

真机器人上跑起来是另一回事

模拟环境跑得再好，落到真实机器人上又是另一回事。

团队在四个真实机器人平台上做了测试，两个是普通夹爪机器人（AC-One、Arx5），两个是灵巧手机器人（Franka+XHand、TianJi Marvin+Wuji Hand）。测试任务包括往杯子里倒水到指定水位、烤面包、做鲁米诺化学反应实验、用滴管转移液体等等，都是需要相当精细操作的任务。

一个特别打动我的对比实验是关于预训练是否有用。团队在AC-One上做了"烤面包"和"鲁米诺反应"两个任务的对照，不做预训练直接用少量任务数据训练，成功率分别是20%和0%；而用了完整的预训练流程之后再做任务专属训练，成功率都跳到95%。0%到95%，这不是小修小补，这几乎是从完全不能用到几乎完全可靠的跨越。这个数字背后说明的是，预训练阶段学到的那些通用操作直觉（怎么抓、怎么对准、怎么感知物体状态变化），对下游具体任务的支撑作用远超想象。

另一个让我觉得有意思的现象是关于泛化能力。AC-One的"接水"任务，训练数据里137条示范全部用的是同一个标记水位，但部署之后模型居然能成功把水倒到训练时从没见过的其他标记水位上。这说明模型学到的不是死记硬背某个具体水位数字，而是"倒到某个视觉标记指示的高度"这个更抽象的操作模式，这是泛化能力的一个直接证明。

实时部署的工程细节也值得一提。团队把整套推理流程优化到在单张RTX 5090显卡上跑出152.8毫秒的往返延迟，相比标准运行时提速5.11倍。这里有个细节挺有意思，团队专门测试了三种异步执行策略处理"动作衔接"问题（就是模型每隔一段时间要重新规划一次动作，规划切换的瞬间容易出现动作突然"跳一下"的问题），发现用训练阶段就模拟推理延迟的"训练时前缀条件化"方法，衔接处的动作变化幅度和正常执行时的变化幅度基本一致（比值1.12），而另外两种方法（VJP和硬前缀）在衔接处会出现明显的动作突跳，比值分别达到8.94和7.13。这就像接力跑步，如果交接棒的技术不熟练，接棒瞬间选手会明显顿一下甚至摔倒，而训练有素的团队交接几乎看不出速度变化，InternW0-Δ选择的方案更接近后者。

不同类型的数据，贡献不一样

团队还专门做了一组对照实验，测试机器人数据、人类第一视角数据、Ego2Robot转换数据、UMI数据分别单独拿来预训练时的效果差异。

结果显示，真实机器人示范数据的效果最强也最稳定，在LIBERO-Plus上把成功率从78.59%（不做任何预训练的基线）提升到83.73%，在RoboTwin的Clean2Random设置下更是从4.38%飙升到32.34%。相比之下，原始人类第一视角视频数据的提升相对温和，LIBERO-Plus只到80.45%，RoboTwin Clean2Random从2.80%到3.13%基本没什么变化。经过Ego2Robot转换的数据效果居中，UMI数据的表现反而相当亮眼，接近甚至局部超过机器人数据的效果。

这个结果背后传递的信息是，人类数据要真正发挥价值，得看它和机器人的观察空间、动作空间对得齐不齐。UMI数据虽然也是人采集的，但它用的采集工具本身模拟了机器人末端执行器的运动方式，天然和机器人动作空间更接近，所以效果好。而原始的人类第一视角视频，手部动作和机器人执行器差异太大，即便转换过了，信息损耗依然存在。这就像学外语，如果你学的是和目标语言语法结构接近的语言，迁移会更容易，如果两者结构差异巨大，即便你努力去对照翻译，依然会有大量细微语感损失在转换过程中。

给动作模型配个"外挂大脑"

报告末尾还有个挺大胆的小实验，把一个叫GPT-6 Astra的大语言模型当成执行时的"监工"，让它观察InternW0-Δ的操作过程，在必要时给出末端执行器的纠正指令。

团队选了5个InternW0-Δ单独表现较弱的RoboDojo任务测试，单独用InternW0-Δ平均成功率10.80%，加上GPT-6 Astra的实时纠正后跳到47.20%，提升了36.4个百分点。在"按语言分类物体"这个需要语义理解的任务上，成功率从14%直接冲到80%。这背后的逻辑挺朴素：动作模型擅长的是把握"怎么动"的精细运动控制，而大语言模型擅长的是"这一步该干什么"的高层语义判断，两者互补，就像一个熟练的外科医生和一个经验丰富的会诊专家配合手术，医生专注手上的刀法，专家在旁边提醒"这个部位要小心，可能是之前诊断没考虑到的情况"。

不过团队也提到一个细节，GPT-6 Astra的推理配置（xhigh和medium两档）对纠正质量影响很大，用更高强度推理配置时能完成全部测试，用中等强度配置就只能拿到部分分数。这提示我们，语义纠正这件事本身对"想得够不够深"是敏感的，不是随便接一个语言模型就能拿到同等效果。

Q&A

Q1：InternW0-Δ是什么？

A：InternW0-Δ是上海人工智能实验室推出的世界动作模型，把视频预测能力和机器人动作生成结合在一个框架里，训练数据超过2万小时，在多个模拟和真实机器人测试中取得了当前最好的表现。

Q2：因果印记（Causal Imprint）解决了什么问题？

A：它让模型在训练阶段用真实的未来画面变化去学习一组特征表示，但推理阶段完全不需要生成未来视频，直接用已经学到的这些特征指导动作决策，既保留了预测未来的好处，又避免了实时生成视频带来的巨大计算开销。

Q3：InternW0-Δ在真实机器人上表现怎么样？

A：在四个真机平台（两个夹爪机器人和两个灵巧手机器人）上都完成了倒水、烤面包、化学实验、灵巧手操作等任务，预训练让部分任务成功率从0%到20%提升到95%，推理延迟优化到152.8毫秒，速度提升5.11倍。