探索RSI，生数新世界模型让机器人开始自我进化

林方舟 发自 凹非寺
量子位 | 公众号 QbitAI

机器人学习拧灯泡，如果拧歪了，谁来告诉它问题出在哪，下次又该怎么改？

这正是机器人“自进化”让人期待的原因：人类不可能替它示范所有情况，想让机器人越干越好，就需要它有办法评价动作的结果，并从反馈中继续学习。

生数科技最新发布的Motus2，在这方面做了一次不错的尝试，走入了当前具身智能研究中的深水区。

除了“自进化”，它还颇有些集大成的意味：触觉、灵巧操作、Ego数据……当前具身圈的几个热门关键词，几乎都能在这个世界模型中找到对应。

今年2月，它的前代Motus发布时，世界动作模型的概念甚至还不成熟，而Motus在50项通用任务测试里，较Pi-0.5绝对成功率高出35%以上。

在前代模型基础上，Motus2进一步拓展视觉、语言、动作与触觉等模态，在一个模型里同时点亮三棵技能树：行动、预测、评估。

它既能撸起袖子干活，又能提前脑补“动作之后会发生啥”，还能事后给自己打分。三种能力无缝衔接，形成闭环。

世界模型终于实现自我进化了。

模型实现闭环自进化迭代

我用三个关键词，带你迅速看懂Motus2。

第一个关键词是：自进化，这是Motus2相比上一代最核心的变化。

传统的机器人策略模型学习的是：现在看到这个状态，下一步该做什么。

这也是当前行业的主流范式，模型只记住了“看到A就做B”的统计关联，却不理解B为何能导致期望的结果C。一旦环境变了，这种缺乏因果认知的策略便会迅速失效。

而Motus2则把三种能力放在了同一个模型中：

• 行动：WAM（世界动作模型）生成动作，负责回答“接下来做什么”的问题；
• 预测：AC-WM（条件动作世界模型）预测后果，负责回答“做完会发生什么”的问题；
• 评估：VM（价值模型）评估结果，负责回答“这个结果好不好”的问题。

更关键的是，行动、预测、评估这三种能力不再彼此独立，而是开始形成闭环：

生成动作→预测后果→评估结果→更新策略

模型自己预测和评估出的结果，成为改进自身策略的反馈；改进后的策略，又进入下一轮迭代。这也是Motus2对递归自我改进（Recursive Self-Improvement，简称RSI）的一次初步探索。

需要说明的是，这里的“自进化”，指的是利用模型自身的预测和价值反馈持续改进策略，并不意味着机器人已经能在开放环境里无限自主学习。

这是怎么做到的？

想让同一个模型既能“上手干活”又会“预判未来”，就得先解决一个核心问题：绝不能让它在做动作之前，就提前“偷看”到动作执行后的结果。

这是时序上的作弊，一旦发生，即便模型在训练集上看着很聪明，换到真实场景就会立刻露馅。这也是此前许多“视频生成+动作控制”训练方案折戟的原因——模型学会了用未来的视觉帧来“反推”当前动作，而非真正学会决策。

因此，Motus2从机器人领域中间训练阶段，开始采用Action-first（动作优先）的信息流。

这相当于给模型定好了顺序：先根据当前观测生成动作，再预测动作带来的结果，最后评估结果好坏。

当模型明确了信息流的先后关系后，接下来是把预测结果真正变成决策和学习信号。Motus2分别从推理阶段和训练阶段入手。

推理阶段，Motus2用了一种叫Best-of-N规划的办法：模型先想好几个候选动作，分别脑补执行后的画面，再由价值模型打分，挑一个分数最高的去执行。执行完一小段，机器人重新观察真实世界，再开启下一轮。

这相当于给机器人一次比较方案的机会，用于优化当次动作选择。

这种做法在强化学习和规划算法里并不新鲜，Dreamer一类的model-based RL方法早就验证过“先在脑内模拟、再挑最优动作”的思路；Motus2的新意在于把这套逻辑塞进了一个原本只用来生成动作的视频-动作大模型里，而不是单独训一个轻量级的模拟器。

训练阶段，候选动作的打分会被转化成策略更新的信号，分数高的方案得到更强的正向引导，分数低的逐渐被模型放弃。团队称之为“基于模型的强化学习（MBRL）”。

该阶段只更新动作相关的参数，预测和评估部分保持不动，避免反馈信号把已经学好的模型带偏。

打个比方，推理时规划像是做题时多想几种解法，争取把眼前这道题做对；训练时更新策略，则像是通过练习掌握了更好的解题方法，下次更容易做对。两者都能改善表现，但后者才真正改变了模型学到的东西。

这种机制也改变了具身领域对数据价值的定义，失败数据也有了不同于成功示范的用途。

过去，行业高度依赖“完美轨迹”，失败的轨迹大多被当成噪声过滤掉；但在Motus2的闭环中，成功轨迹告知机器人“正向解法”，而失败轨迹则用于学习动作后果与结果评价，帮助模型识别哪些动作未能推进任务。

让机器人从失败中学习，其他团队也在探索。例如Physical Intelligence的RECAP，会让机器人先跟人学，再自己练习；做错时，人可以接管纠正，模型也会根据执行结果判断哪些动作值得保留、哪些应该少做。

Motus2则进一步利用世界模型，让一些候选做法不必在现实中逐个试过，也能先预测后果、打分比较，再用这些反馈改进策略。

真机实测数据验证了这套闭环的效果。

在手机放置和多指操作两项真机任务中，基础策略平均成功率为65%；单独加入规划，提升至67.5%；单独加入基于模型的强化学习，达到72.5%；两者结合，达到75%，比基础策略高10个百分点。

触觉和记忆补上视觉缺失的信息

第二个关键词是“全模态”。Motus2新增了两块拼图：触觉和记忆。

先说触觉。灵巧操作中，视觉能看到物体在哪、姿态如何，却很难完整判断机器人与物体之间的接触状态。

就拿撕厨房纸来说，两只手的位置看起来正确，也不代表纸已经被稳稳夹住。接触处是否打滑、受力怎样变化，都会影响接下来的动作。

对灵巧操作而言，触觉信息是关键一环，也正是现在市面上触觉技术路线和硬件设备“百花齐放”的原因。

Motus2为此加入了一个轻量级触觉专家模块。在短动作片段执行之前，它可以读取最新触觉反馈，进一步细化动作。

这里有个务实的设计：触觉专家模块复用了主模型已经算出来的中间结果，不用每次都重新跑一遍完整的视频骨干，兼顾了反馈频率和计算开销。

而这恰恰是不少团队的痛点，接入触觉信号往往意味着额外挂一套独立的小模型，模型越重，反馈就越慢，而灵巧操作最讲究的正是手感，慢一拍动作就可能变形。

在抽取纸杯、撕纸两项真机任务中，加入触觉后，平均成功率从60%提升至72.5%，提升12.5个百分点。

说完触觉，再聊聊记忆，它解决的是另一类问题。

一个方块被藏进三个杯子中的一个，杯子重新摆放之后，只看当前这一帧画面已经判断不出目标在哪，机器人必须记得刚才发生过什么。

Motus2默认缓存近期的真实观测，在寻找隐藏方块、根据历史提示操作按钮这两项测试中，保留完整历史信息的方案平均成功率达到57.5%，明显高于压缩历史信息的方案。

这个结果说明：对于依赖长期上下文的任务，历史信息本身就是决策的一部分，不能被简单压缩。

但有个矛盾，如果把历史都保留下来，需要更多存储和计算；压缩历史，又可能漏掉关键线索。而记忆机制需要解决的，正是这种取舍。

业内其他团队也在探索解决这个难题。有的只保留最近一小段观测，相当于不断覆盖的行车记录仪；有的给历史信息“划重点”，会保留开头和最近的部分画面，把更早的中间过程压缩成简短的记忆。思路不同，但目的都是在“记得多”和“跑得快”之间找到平衡。

这跟语言模型的上下文窗口问题有点像，区别在于，语言模型可以靠更长的注意力窗口或者检索机制去缓解，物理世界里的记忆问题目前还没有那么优雅的解法。

Motus2默认缓存近期的真实观测，同时测试了保留完整历史和压缩历史信息的方案。在寻找隐藏方块、根据历史提示操作按钮这两项测试中，保留完整历史信息的方案平均成功率达到57.5%，明显高于压缩历史信息的方案。

这组实验并不能说明“记忆压缩行不通”，Motus2目前保存完整观测的方法，更像是找到最终答案之前的阶段性妥协。

将人类操作经验迁移到灵巧手

第三个关键词：高自由度灵巧手。

Motus2已经部署在单手22自由度的Sharpa Wave、单手20自由度的WUJI Hand 2等平台上，展示了拧灯泡、翻书、多指操作等任务。

Sharpa Wave和WUJI Hand 2都属于较高自由度的灵巧手。自由度增加，让机器人有了更多操作可能，也让学习变得复杂。同一个物体可以换着手指抓，接触位置和手指配合稍有变化，后续动作就可能不同。

这里面，真正的难点其实在于数据。

数据金字塔的概念不用再多讲了。这里面真正值得关注的，是Ego数据和真机数据的配合。

Motus2选择的路径，是把人类的第一视角操作经验当成主要数据来源，再逐步迁移到机器人身上。

英伟达发布的数据与训练框架EgoScale也采用了类似思路。这类工作的共同出发点是：人每天都在用双手操作物体，机器人能不能先从这些经验中学习，而不用所有事情都亲自示范一遍？

Motus2这条路径背后是一套多层次的Ego数据体系，训练分为三步走：

第一步是单目Ego视频预训练，用大规模人类操作视频学习基础的物体和场景变化规律。

第二步引入双目视频和人类动作数据，学习更细粒度的手部与物体交互信息。

第三步是机器人领域的适配训练，靠机器人轨迹和人机对齐数据，把前两步学到的经验迁移到机器人自己的控制空间里。

整套Ego数据体系的规模约为13万小时人类第一视角数据，配上百小时级的机器人及人机对齐数据。

团队做了一组对照实验，显示在同样的目标任务微调流程下，只经过人类Ego数据预训练的模型，五项真机任务平均成功率是51%，加入机器人领域的中间训练之后，成功率跳到84%，提升了33个百分点。

这个结果体现了这两种不同类型数据的分工思路：用人类数据提供规模化的世界知识和操作经验，再用机器人数据完成控制适配。

人手和灵巧手的尺寸、关节活动范围、控制方式并不完全一样。人用拇指轻轻一拨就能完成的动作，换到机器人身上，可能需要重新调整手指位置。人类经验提供了学习基础，具体怎么用这只机器手做出来，还要经过机器人数据适配。

团队还做了一组数据规模对比实验，把双目数据从2000小时一路加到20000小时，发现模型在人类动作预测任务上的验证误差持续下降，没有看到明显的天花板。

这至少说明，靠堆人类数据来提升模型性能这条路，目前还没走到头。

从“能行动”到“会反思”，中间还有多远

作为世界模型领域的引领者之一，生数科技致力于构建连接数字世界与物理世界的通用世界模型。

李飞飞团队将世界模型分为三类：输出像素的渲染器、输出几何与物理状态的模拟器、输出动作的规划器。

而生数科技把通用世界模型演进路线分为五级：L1生成世界，L2与世界交互，L3在世界中行动，L4自主世界智能体，L5世界组织者。

生数科技关注的是：如果目标不是完成某个局部功能，而是让机器逐步获得通用的世界智能，它需要沿着怎样的能力路径成长？

L1-L5并不是五类彼此独立的模型，而是一条能力不断累积的演进路径。

按照这套分级，Motus2已经具备L3“在世界中行动”的核心能力：理解当前状态、预测动作后果，并输出真实机器人动作。

从L3继续向L4迈进，一个关键问题是：模型能否利用自己的能力，参与改进自身？

这与递归自我改进（RSI）的思路相呼应。在Motus2中，模型预测不同动作的后果，再通过价值评估产生策略更新信号；更新后的策略继续生成候选动作，进入下一轮预测、评估与优化。

由此，Motus2开始触碰L4“自主世界智能体”更核心的部分——自主决策、自主反馈、持续自我改进。

但必须承认，从单次任务中的策略优化，到开放世界中的长期自主学习和持续进化，还有很长的路要走。

比如，触觉数据在不同机器人本体之间的迁移还很困难，更长任务中的预测可靠性、长期记忆的效率，以及开放世界里的持续学习，都需要继续探索。

但Motus2至少验证了一点，从预测行动后果，到利用后果改进策略，评价与反馈开始真正进入世界模型的闭环。

Motus2，是生数的最新答卷，也代表着世界模型又向前走了一步。

传送门：

项目主页与真机演示：
https://motus-robotics.github.io/motus2/

论文链接：
https://arxiv.org/abs/2608.30237