网易首页 > 网易号 > 正文 申请入驻

登顶RoboDojo智能体超过GPT-6 Astra:Manifold AI推出R²SI

0
分享至

近日,Manifold AI 流形空间登顶机器人学习基准 RoboDojo 榜单(Agent Track),超越 GPT-6-Astra、英伟达 GR00T-N1.7 等模型。



三个月前,Manifold AI 发布了具备上下文学习(In-Context Learning,ICL)能力的世界动作模型 WorldScape Policy 2.0。随后,Generalist AI 和 Skild AI 也相继官宣了各自具备上下文学习能力的具身模型 Gen-1.5 与 S1。



从一次示范中学习新任务,是机器人适应真实世界的一条路径。但模型能力的提升,还需要与系统的自我改进相结合。

围绕这一问题,Manifold AI 提出了 WorldScape R²SI(Recursive Robot Self-Improvement,机器人递归自进化)框架:通过内外双层 Agent 系统执行任务复盘、技能修正与经验积累,让有效经验进一步推动机器人模型和系统的双重自我改进。

登顶背后的两项技术支撑

RoboDojo 面向机器人操作能力,覆盖双臂操作、长程任务、记忆、泛化和精细操作等维度,要求系统在任务规定的原生动作步数限制内取得有效进展。

此次评测中,WorldScape R²SI 位列总榜第一。

这一系统背后有两项核心技术支撑:

  • ICL 关注机器人如何在不进行后训练的情况下,通过一次人类示范学习新任务;
  • R²SI 将任务执行、经验复盘与技能更新连接起来,关注机器人如何在多次执行中持续改进。

两者共同指向一个目标:让机器人更有效地调用已有能力、应对变化,减少遇到新情况时从头探索的需要。

ICL:让机器人「一次就会」

今年 7 月发布 WorldScape Policy 2.0 时,Manifold AI 提出了一个问题:

面对新任务,机器人能否不重新训练模型,仅看一遍人类示范就完成任务?

这一问题对应着机器人走向真实世界时必须面对的变化:模糊的指令、多样的操作物、多个任务的随机组合,以及在执行过程中不断变化的环境。人类能够习以为常地处理这些情况,机器人却往往需要为此付出额外的学习成本。

通常,机器人面对这些变化时,需要重新采集数据、训练或微调模型。ICL 则将人类示范作为上下文,让模型在执行阶段利用示范适应新任务,无须改变模型参数。

WorldScape Policy 2.5,一次示范泛化多种全新任务

WorldScape Policy 2.5 的能力主要体现在三个层面。

1. 动作迁移:物体规格发生变化,动作仍能复用



观看印章操作示范后,机器人能够将「盖章动作」迁移至不同颜色和形状的新印章,以及不同位置、不同材质的落款页。

这意味着,机器人需要从示范中提取能够迁移的操作方式,超越对某个特定物体或固定动作轨迹的简单记忆与模仿。

2. 技能组合:让多个操作阶段顺畅衔接



从拿起鞋子到松开鞋带,任务涉及多个相互衔接的操作阶段。机器人需要根据当前观察调整行为,协调不同阶段的操作。

这类任务考察的是,机器人能否根据新的任务要求组织已有技能,并在执行中完成阶段切换,而非仅仅重复某个单一动作。

3. 零样本学习长任务



长程任务推理的难点在于,前一步的执行结果会影响后续任务,局部偏差可能沿着任务链条累积,最终导致执行中断。

为管理长程任务中的信息,Manifold AI 在 WorldScape Policy 中引入了视觉记忆与事件记忆机制,帮助系统保留环境变化、任务进度等关键信息,为后续决策提供依据。

根据 Manifold AI 展示的实验结果,面对预训练中的已知任务,上下文学习模型的表现已显著超过对照 VLA 模型;进一步面对未知任务时,两者的成功率差距甚至达到数倍。





不同训练任务数量 ICL/VLA 模型成功率对比

R²SI:让执行经验转化为持续改进

机器人每次执行任务,都会产生可用于改进的信息。

抓取失败,可能需要调整接近方向;推移未达预期,可能需要改变接触高度;即使任务已经完成,若耗费了过多动作步数,也意味着策略仍有优化空间。如果这些经验无法被有效复用,机器人就可能在下一次执行中重复犯错。

在 Manifold AI 看来,从持续执行中积累经验、提升能力,是支撑具身智能应对真实世界任意任务的一项本质能力。



R²SI 正是围绕这一问题提出的自进化系统。它通过双层 Agent 结构,将任务执行与经验分析、修正和积累连接起来,尝试形成持续改进的闭环。

具体而言,R²SI 由内外两层 Agent 构成:内层负责执行,外层负责改进。

内层 Robot Agent 以多视角 RGB 图像、机器人本体状态、任务描述与回合记忆作为上下文进行决策,并通过按任务加载的 Skill 执行任务。

调用 reactive model(WSP)本身也是一项 Skill。加载后,Robot Agent 依据观测调用 reactive model(WSP);该模型执行一个动作块后,即交还控制权,Robot Agent 再根据新的观测决定下一步。

外层 Recursion Agent 则跨轮次复盘执行记录,修订 Skill,并以 Harness 更新的形式作用于内层。对于使用 reactive model(WSP)的任务,外层还会将执行记录组织为训练数据,训练并更新该模型。各类更新均须通过测试,才能自动发布并纳入版本管理。

任务实例:从失败诊断到技能改进

以下两个案例分别展示了 R²SI 的两条改进路径:在 push_T 任务中,外层改进 Skill;在装箱任务中,内层调用 reactive model(WSP),外层则对其进行训练。

案例一:push_T,改进 Skill

在 RoboDojo 的 push_T 任务中,机械臂需要将 T 形物体沿桌面推入目标区域,使位置、朝向与接触状态同时满足要求,并在 600 个原生动作步数内完成任务。该任务不使用 reactive model(WSP)。

首轮执行中,Robot Agent 采用的夹持方向与任务不相适配,且在平移过程中同步转向,导致物体发生明显偏转。对齐完成后,夹爪一次性释放,又使物体偏离目标位姿。本轮执行共耗用 723 步,超出预算。

外层 Recursion Agent 据此修订了 Skill:调整夹持方向;将平移与转向解耦,先平移、后分段转向;分阶段释放夹爪,并逐段检查物体是否发生偏移。修订版本通过测试后,自动发布至内层 Robot Agent。

更新后的 Skill 首次在预算内取得原生满分,耗用 596 步。经后续迭代,同一布局下的原生动作步数进一步降至 389,较 596 步下降约 35%。

此后,该 Skill 冻结,外层停止更新。内层 Robot Agent 以 RGB 图像与公开的机器人状态作为观测,在 push_T 的三种随机布局上自主执行,分别以 222、312、256 步完成任务,均取得原生满分,且均未超出 600 步预算。

案例二:装箱,调用并训练 reactive model(WSP)

当任务切换至装箱时,外层 Recursion Agent 为内层加载调用 reactive model(WSP)的 Skill。

执行中,Robot Agent 依据观测调用该模型;模型执行一个动作块后即交还控制权,Robot Agent 再根据新的观测决定下一步,如此往复。

外层 Recursion Agent 随后将执行记录组织为训练数据,并训练 reactive model(WSP)。更新后的模型继续供内层调用。由此,该模型既承担执行,也能在外层 Agent 的训练下持续改进。

这两个案例呈现了 R²SI 的基本工作方式:内层通过 Skill 执行任务,调用 reactive model(WSP)是其中一种方式;外层持续改进 Skill 与 reactive model(WSP),让试错经验沉淀为可复用的能力。



R2SI 双层 Agent 任务实例:https://mp.weixin.qq.com/s/GqI66EPiB9xz7Bz_LxwdmQ

从榜单成绩到机器人通用能力

回看 ICL 模型发布后的三个月,WorldScape Policy 从 2.0 探索通过一次示范学习新任务,到 2.5 探索动作迁移、技能组合与长程执行,Manifold AI 的研究始终围绕一个问题展开:机器人如何在复杂操作中有效利用观察、示范与记忆。

WorldScape R²SI 则进一步连接了执行与经验改进,通过提炼技能、验证修改,探索 Agent 与动作模型的协同进化。

此次登顶 ,是这一系列探索的阶段性成果。从一次示范中适应新任务,再到从多次执行中积累经验,Manifold AI 正尝试将模型学习与系统改进连接起来。接下来,这套技术路径能在多大程度上转化为机器人的通用能力,还将接受实际落地场景的检验。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
批法国抗议活动中的暴力行为,马克龙:无法忍受,“法国人怎么能这样对待法国?”

批法国抗议活动中的暴力行为,马克龙:无法忍受,“法国人怎么能这样对待法国?”

环球网资讯
2026-10-19 10:14:47
尊界刹车事件,三部门还没出结论,舆论就已经反转了!

尊界刹车事件,三部门还没出结论,舆论就已经反转了!

葱哥说
2026-10-18 21:43:54
为什么每个朝代到后期都没钱?看完网友分享我破防了,画面感很强

为什么每个朝代到后期都没钱?看完网友分享我破防了,画面感很强

夜深爱杂谈
2026-10-17 19:21:55
轰动全国的“91大神”庭审细节曝光,炸翻无数人

轰动全国的“91大神”庭审细节曝光,炸翻无数人

鸣金网
2026-10-18 14:17:30
第三例跟腱撕裂!西蒙斯重伤赛季报销后续:将领到全额350万薪水

第三例跟腱撕裂!西蒙斯重伤赛季报销后续:将领到全额350万薪水

罗说NBA
2026-10-19 07:36:07
秒怂!在莫斯科教室披旭日旗大闹课堂的中国留学生,被举报至大使馆后拍视频道歉

秒怂!在莫斯科教室披旭日旗大闹课堂的中国留学生,被举报至大使馆后拍视频道歉

不掉线电波
2026-10-16 15:03:07
法国爆发严重暴力骚乱,香榭丽舍大街遭打砸、百年市政厅被焚,约1200人被捕,马克龙发声

法国爆发严重暴力骚乱,香榭丽舍大街遭打砸、百年市政厅被焚,约1200人被捕,马克龙发声

第一财经资讯
2026-10-18 13:26:26
中东记者卧底电诈园区,24分钟纪录片曝光,湖南籍老板:用80%利润打点警察,警车当座驾,却在清剿前夜人间蒸发

中东记者卧底电诈园区,24分钟纪录片曝光,湖南籍老板:用80%利润打点警察,警车当座驾,却在清剿前夜人间蒸发

起点人文
2026-10-18 13:55:43
5年1.39亿美元!雷霆提前续约顶级3D华莱士 上季入选最佳二防

5年1.39亿美元!雷霆提前续约顶级3D华莱士 上季入选最佳二防

醉卧浮生
2026-10-19 10:40:52
养老金发布会落幕,传来一个好消息!

养老金发布会落幕,传来一个好消息!

逍遥论经
2026-10-19 09:45:20
被处分、被解约,她辞职跑马拉松!35岁张水华今年收入曝光,彻底颠覆我对马拉松跑者创收的认知!估计和你想的不一样

被处分、被解约,她辞职跑马拉松!35岁张水华今年收入曝光,彻底颠覆我对马拉松跑者创收的认知!估计和你想的不一样

锐评利物浦
2026-10-18 13:14:55
男子为戒烟,每天存下40元!9个月后烟钱摆满一床,给妻子买了折叠手机;妻子:不在乎钱在乎丈夫身体

男子为戒烟,每天存下40元!9个月后烟钱摆满一床,给妻子买了折叠手机;妻子:不在乎钱在乎丈夫身体

都市快报橙柿互动
2026-10-18 23:06:49
中俄抢先下手,日本终于发现,他们把中方的手段,想得太过简单了

中俄抢先下手,日本终于发现,他们把中方的手段,想得太过简单了

面包夹知识
2026-10-18 19:05:17
张本智和父亲勇敢发声!入日籍是对的,否则儿女在中国无出头之日

张本智和父亲勇敢发声!入日籍是对的,否则儿女在中国无出头之日

娱妮啵啵啊
2026-10-18 18:37:26
女星曼谷见面会取消,“鉴于近期相关风险提示”;中使馆上周提醒:泰国近期发生多起中国公民入境后失踪案,还有针对演艺人员的邀约骗局

女星曼谷见面会取消,“鉴于近期相关风险提示”;中使馆上周提醒:泰国近期发生多起中国公民入境后失踪案,还有针对演艺人员的邀约骗局

南方都市报
2026-10-19 11:07:24
中科院对15个省研究后发现,江浙沪人群体内的化学物质浓度包揽前三名

中科院对15个省研究后发现,江浙沪人群体内的化学物质浓度包揽前三名

西虹市闲话
2026-10-17 11:23:23
3000万元买不来一个茅台酒经销商资格:拆解千万元合同预付款纠纷背后的经销权真相

3000万元买不来一个茅台酒经销商资格:拆解千万元合同预付款纠纷背后的经销权真相

每日经济新闻
2026-10-18 21:13:40
今天10月19日,全体退休人员注意:10月养老金发放,必查三项!

今天10月19日,全体退休人员注意:10月养老金发放,必查三项!

老孙说
2026-10-19 09:56:03
40岁物理学博士被“非升即走!连续四年申请基金全失败,被批“不是主流研究”,可就在离开那年,他出了成果、发了顶刊

40岁物理学博士被“非升即走!连续四年申请基金全失败,被批“不是主流研究”,可就在离开那年,他出了成果、发了顶刊

学术眺望
2026-10-19 08:45:03
中国留学生旭日旗事件!栽的不只陈宇昕!被架在火上烤的是他全家

中国留学生旭日旗事件!栽的不只陈宇昕!被架在火上烤的是他全家

牛锅巴小钒
2026-10-19 07:59:05
2026-10-19 13:19:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14237文章数 142748关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

女局长被举报包养未成年 遭"仙人跳"敲诈19万后免职

头条要闻

女局长被举报包养未成年 遭"仙人跳"敲诈19万后免职

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

演员许君聪近况曝光 婚恋成谜让人唏嘘

财经要闻

三季度GDP,同比增长4.5%

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

亲子
房产
艺术
旅游
手机

亲子要闻

潮州月子中心现在靠谱的机构多吗?

房产要闻

最新房价:海口,三亚齐跌!

艺术要闻

17幅 国外画家的静物与人物油画

旅游要闻

海拔3500米,红军长征走过的草地刮起文旅新风|走向胜利

手机要闻

看图找新品:何刚预热华为全新形态路由器,X2 Pro造型似书籍

无障碍浏览 进入关怀版