网易首页 > 网易号 > 正文 申请入驻

具身智能开始卷系统了:RoboFoundry让机器人自主进化

0
分享至



同一个 GPT-5.5,放进不同的系统里,做具身任务的表现可以相差悬殊。在 EmbodiedBench 上,直接使用 GPT-5.5 的平均成功率是 56.9%;模型参数一个不改,只让它周围的系统持续进化,这个数字变成了 72.7%。

差别来自模型之外:哪些信息会被送到模型面前,哪些经验会被保留下来,决策又如何变成机器人的物理动作。真正在环境里执行的具身策略,从来不只是一个模型,而是模型加上它所在的整套系统。

大模型在机器人系统中的角色一路上移:从高层规划器,到 Code-as-Policy 中把感知与控制原语组合成程序的决策核心。但围绕模型的那套系统,大多仍是人工搭建、部署后固定不变的。已有工作往往只改进记忆、技能、交互 harness 中的某一个组件;执行中暴露的问题也多半只用于评测或人工调试,同样的弱点会在一个又一个回合里重复出现。

由此引出一个问题:具身智能体能否把自己的整套系统当作策略,诊断出系统在哪里限制了行为,再从具身经验中进化对应的部分?

来自新加坡南洋理工大学、北京航空航天大学、新加坡国立大学、上海交通大学、云蝶科技等机构的研究团队提出了 RoboFoundry,并将其定位为首个把智能体系统本身形式化为「自进化的系统即策略」(Self-Evolving System-as-Policy)的具身智能体框架:基座模型保持冻结,进化发生在模型周围的上下文系统、技能系统与执行接口上,并借助一层共享的语义接口在不同机器人之间复用。

实验中,RoboFoundry 在 EmbodiedBench 上让五个基座模型全部取得提升;在长程记忆基准 RoboMemArena 上,任务成功率比所有基线至少高出 39.0%;在 LIBERO-PRO 的扰动测试中,比 CaP-Agent0 高出 243.8–679.7%。在真实机器人上,展示了跨机器人、跨任务的零样本迁移,以及部署后的在线进化。



  • 论文标题:RoboFoundry: System-as-Policy Evolution for Self-Learning Embodied Agents
  • 论文链接:https://arxiv.org/abs/2609.32862
  • 项目主页:https://jingsongliang.com/robofoundry



图 1:RoboFoundry 总览。包含 “执行 — 反思 — 修复 — 晋升” 的进化闭环;三个基准的结果,以及接入前后六项系统能力均有大幅提升。

模型冻结,系统进化:

像维护代码库一样改写自己

RoboFoundry 不更新基座模型的参数,被优化的是支撑模型完成任务的系统。这套系统以文件形式存在,模型可以像开发者维护代码库一样,用 cat、grep 查看,用 add、modify、delete 修改。系统分为两层:服务当前任务的任务级系统,和跨任务、跨本体持续保留的通用系统

进化以内外两层循环进行:内循环执行任务、记录执行轨迹;外循环根据轨迹提出修改,再交给后续执行检验。修改作用在两个 “进化面” 上:

  • 上下文面:管理当前回合的活跃上下文和跨回合的文件系统记忆,通过 SAVE、RETRIEVE、UTILIZE 三类操作决定记什么、取什么、怎么用。
  • 技能面:从原子技能,到 “移动 — 抓取 — 放置” 这样的组合流程,再到失败恢复树。执行出现失败时,系统会从一个仍然有效的状态重新规划。

两个进化面之下还有一层共享语义接口。语义层只处理跨本体共享的任务逻辑;执行层把决策适配到具体机器人上,后端可以是冻结的 VLA(如 π0.5)、编码智能体生成的函数,或 CuRobo 等视觉运动接口。由于进化作用在语义一侧,在一台机器人上进化出的系统,换一套执行适配就能在另一台机器人上复用,也可以接到不同的基座模型上。



图 2:RoboFoundry 方法框架。(a) 内循环执行任务并产生轨迹;(b) 通用系统以文件目录的形式,提供可复用的规则与技能;(c) 外循环诊断能力缺口:能修复当前任务的修改更新任务级系统,进一步通过其他任务上保持检验的修改,进而晋升进通用系统。

有诊断、有验证的进化闭环,

而不是无约束的自我重写

执行中出现的失败或低效,会先被归因到六种能力之一:感知、推理、规划属于决策能力,保存、检索、利用属于记忆管理能力。系统只在对应的进化面上提出修改;只有修复了当前任务的失败,修改才会被提交。

RoboFoundry 先把成功的修改抽象成候选规则,再找出其他任务中同类能力缺口的修复记录,回放这些任务修复前的状态,让应用该候选规则的系统重新给出修复方案。随后由系统自身充当验证者,把新方案与当时实际奏效的修复比较打分。只有平均得分不逊于原有修复,候选规则才会被写入通用系统。

图 3 是一次进化过程示例,在 EB-Habitat 的空间关系子集上,基座模型为 GPT-5.5,共经过六次候选评估:

  • 前三次修改被提交,held-in 成功率从 21.4% 升至 50.0%;
  • 接下来两个候选只达到 42.9%,未被采纳;
  • 最后一个候选把成功率推到 78.0%,并通过了 held-out 检查,被标记为晋升进通用系统。



图 3:EB-Habitat 空间关系子集上的一次进化轨迹(GPT-5.5),下方是各次候选的 held-out 检查结果。

被接受的修改会落成文件里的具体改动。例如针对 “把水槽里的清洁剂全部移到沙发上” 这条指令,系统规则被改写为:



新规则里没有出现清洁剂、水槽、沙发等任何具体物体,因此可以跨任务共享。整个进化过程则记录在 .robofoundry/ 目录里,论文称之为 “进化账本”(Evolution Ledger),可以回溯查看。

五个基座模型全部提升,

基座之间的差距明显缩小

EmbodiedBench 包含四个环境中的 1,128 个任务,覆盖高层语义规划与底层动作执行。所有设置使用相同的任务流和交互预算,从第一个计分回合就开始进化,进化过程中的每一条轨迹都计入成绩。



注:EmbodiedBench 四个环境的平均成功率(%),提升值与论文图 1 一致;因舍入,个别提升值与两列直接相减可能相差 0.1。

  • GPT-5.5 相对提升 27.8%。进化后的 GPT-5.5(72.7%)已经高于未经进化的 GPT-6 Astra(71.9%)。
  • 基座之间的差距明显缩小。五个基座原始成绩的最大差距为 19.6 个百分点,接入 RoboFoundry 后缩小到约 11.5 个百分点。
  • 最强的模型同样受益。GPT-6 Astra 相对提升 8.5%。

消融实验显示,通用进化是关键:以 Qwen3.7-Plus 为基座时,完整版比只保留任务级修改的 Lite 版相对高出 11.2%。把上下文预算从 4K 扩到 16K 后,原始模型的成绩有升有降;在 16K 设置下,RoboFoundry 依然让参与测试的四个基座相对各自基线再提升 7.9%–13.1%。

长程记忆与分布偏移:

进化不只是提示词

RoboMemArena 是长程记忆基准,共 26 个任务,分为搬运、遮挡、计数、顺序四类。以 Qwen3.7-Plus 为基座的 RoboFoundry 取得了 53.5% 的任务成功率(TSR)和 72.8% 的累计成功率(CSR),四类任务全部领先。它的 TSR 比所有基线至少高出 39.0%,对比对象中包括借助 Qwen3-VL-8B-Instruct 管理记忆的 PrediMem。

在这一基准上,进化修改的不只是提示词,还有决定 “保留什么状态、检索什么证据、如何呈现给模型” 的机制。例如,把任务进度转成当前子目标,以及明确规定 “尝试过的指令不能作为物理成功的证据”。



图 4:RoboMemArena 长程记忆结果,每项为 TSR / CSR(%)。

LIBERO-PRO 用来检验系统在物体布局和任务设定变化下的鲁棒性。在不使用特权物体位姿的方法中,RoboFoundry 的平均成功率最高,为 91.9%,Harness VLA(CC)为 87.8%;它比 CaP-Agent0 高出 243.8%–679.7%(相对值)。

进化后的系统还会把改进分成两种时间尺度:可复用的组合技能被长期保留进共享系统;某次试验中临时生成的恢复逻辑,只留在当次试验中。



图 5:LIBERO-PRO 扰动测试结果,每项为位置扰动 / 任务扰动下的成功率(%)。† 表示使用特权物体位姿。

真机上零样本迁移、边做边进化

真机实验要回答的是:通用的 RoboFoundry 系统能否迁移到物理机器人上,并在部署后继续进化。实验中,RoboFoundry 以 GPT-5.5 为基座模型,以 π0.5 为操作执行后端;为保证公平,RoboFoundry 与单独使用的 π0.5 在对应任务上使用同一个微调 checkpoint。RoboFoundry 起始时不做任何任务级的系统适配;每个任务测试 10 次,用于在线进化的试验也计入成功率,系统更新只发生在两次试验之间。

  • 套娃:在线进化。在松灵 AgileX COBOT MAGIC 平台上,套娃既要求从小到大排序,也要求精确插入。第一次试验以掉落告终,系统加入对准检查(技能面修改);第二次试验改用带对准的插入,但执行丢失了任务进度,系统再加入进度追踪(上下文面修改),让执行能从最后完成的子任务继续;第三次完整完成。最终 RoboFoundry 的成功率为 70%,单独使用的 π0.5 为 30%。
  • 叠毛巾:零样本迁移。叠毛巾技能只在蓝色毛巾上进化,随后直接用于外观、几何形状和材质都不同的绿色、粉色毛巾。在不做额外适配的情况下,RoboFoundry 的成功率超过 80%,π0.5 则低于 20%,需要进一步微调。
  • 人形机器人:从操作到导航。 在宇树 G1 人形机器人上,RoboFoundry 借助共享语义接口,把 “找到饮用水”(Find drinking water)这条指令对应到 RGB 画面中识别出的饮水机,再由本体相关的执行绑定转换成导航动作。
  • 化学实验:跨子任务的长程依赖。 六个相互依赖的子任务依次是:把漏斗插入锥形瓶、放置称量皿、天平去皮、用药匙加粉末、放回药匙、向锥形瓶倾倒粉末。RoboFoundry 用任务状态记录串起整个流程,最后的倾倒步骤会读取几个子任务之前写下的 “漏斗已就位” 状态来指导执行;单独使用的 π0.5 则难以完成整个流程。



视频链接:https://mp.weixin.qq.com/s/uJw9E0-rEnribpib08C6kg

图 6:真机进化与迁移。(a) 套娃任务中先后加入对准与进度追踪;(b) 叠毛巾技能迁移到未见过的毛巾;(c) 宇树 G1 上的语义导航。



图 7:长程化学实验中,任务状态记录连接六个相互依赖的子任务。

结语:

从 “训练更强的模型”,

到 “让模型所在的系统持续变强”

从语言模型规划,到代码即策略的执行,再到系统即策略的进化,大模型在具身系统中的角色一直在向上层迁移。RoboFoundry 给出了一种具体做法:基座模型保持不变,由执行轨迹决定系统的哪一部分需要修改;每一次修改都要先在当前任务上验证能修复失败,只有在其他任务的同类能力缺口上同样被验证有效的改进,才会沉淀为通用能力,服务后续任务。当基础模型越来越强,具身智能的进步也许不只来自 “训练一个更强的模型”,也来自 “让模型所在的系统持续变强”。

作者信息

本研究由新加坡南洋理工大学、北京航空航天大学、新加坡国立大学、云蝶科技与上海交通大学的研究者合作完成。共同第一作者为梁靖松(新加坡南洋理工大学,博士生)和廖书昊(北京航空航天大学,博士生)。通讯作者为吴文峻(北京航空航天大学,教授)、李万华(新加坡南洋理工大学,南洋助理教授)与吕辰(新加坡南洋理工大学,副教授)。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国为何没有贪官?不是没有,是因为美国从制度上消灭了贪官,就连贪污都是合法的

美国为何没有贪官?不是没有,是因为美国从制度上消灭了贪官,就连贪污都是合法的

扶苏聊历史
2026-09-12 17:43:57
鸿蒙智行9月销量曝光:问界M9破万第一、尊界V800首月超2000台

鸿蒙智行9月销量曝光:问界M9破万第一、尊界V800首月超2000台

快科技
2026-10-12 18:37:09
中方态度坚决,若胡塞横扫也门,拿下政权,我们绝不会立马承认

中方态度坚决,若胡塞横扫也门,拿下政权,我们绝不会立马承认

军机Nova
2026-10-11 23:21:41
央视爆剧《兰香如故》大结局:见过世面的女人,选男人的时候是非常势利的;见过世面的男人,选女人的时候是非常清醒的

央视爆剧《兰香如故》大结局:见过世面的女人,选男人的时候是非常势利的;见过世面的男人,选女人的时候是非常清醒的

十点读书
2026-10-12 20:17:00
邓卓翔救火难挽颓势!三镇客场捞1分,保级之路已布满荆棘

邓卓翔救火难挽颓势!三镇客场捞1分,保级之路已布满荆棘

狮王乱弹
2026-10-12 19:44:49
太阳报:曼城球迷在安菲尔德举充气香蕉抗议

太阳报:曼城球迷在安菲尔德举充气香蕉抗议

懂球帝
2026-10-12 16:40:12
第八轮中央巡视即将开始!和前七轮相比,这次最大的不同是什么?

第八轮中央巡视即将开始!和前七轮相比,这次最大的不同是什么?

职场资深秘书
2026-10-12 18:20:31
刚刚,迟到20年的诺贝尔奖,给中国企业打了一针强心剂

刚刚,迟到20年的诺贝尔奖,给中国企业打了一针强心剂

亿欧健谈
2026-10-12 11:25:39
“整完容才到普通人水平!”初中女孩晒整容前后对比照,有点心酸

“整完容才到普通人水平!”初中女孩晒整容前后对比照,有点心酸

世界圈
2026-09-14 15:05:05
印度专家被气晕:中国用人民币买油93美元,印度用美元买121美元,说好的大国呢?

印度专家被气晕:中国用人民币买油93美元,印度用美元买121美元,说好的大国呢?

林杰论事
2026-10-11 10:07:30
上海规划新增三所大型医院,不少居民跨区看病难题有望缓解

上海规划新增三所大型医院,不少居民跨区看病难题有望缓解

花小猫的美食日常
2026-10-12 14:24:23
中国女排队友龚翔宇日本球服定妆照出炉:造型已被日化

中国女排队友龚翔宇日本球服定妆照出炉:造型已被日化

小椰的奶奶
2026-10-12 02:51:06
马斯克阴阳怪气向印度首富“道歉” 字字像开炮:恕我眼拙 没意识到您才是印度真正掌权人

马斯克阴阳怪气向印度首富“道歉” 字字像开炮:恕我眼拙 没意识到您才是印度真正掌权人

闪电新闻
2026-10-11 22:26:29
中国公民尽快撤离!外交部最高级别预警:这个地方比缅北还恐怖

中国公民尽快撤离!外交部最高级别预警:这个地方比缅北还恐怖

史之韵
2026-08-29 12:23:14
罗翔:千万不要在家闲着,即使没工作、没事干,也千万别躺平,因为人一旦躺下,一晃一天就过去了,没收入还躺出一身病,心情也...

罗翔:千万不要在家闲着,即使没工作、没事干,也千万别躺平,因为人一旦躺下,一晃一天就过去了,没收入还躺出一身病,心情也...

犀利强哥
2026-10-12 06:59:13
多名医生提醒:只要做过肠息肉手术,术后患者必须警惕这几点

多名医生提醒:只要做过肠息肉手术,术后患者必须警惕这几点

侯医生谈健康
2026-10-12 05:45:09
高岗随刘少奇访问苏联期间,在会议上突然提议把东北变成苏联的第17个加盟共和国,斯大林听后当场讥讽道:“张作霖同志。”

高岗随刘少奇访问苏联期间,在会议上突然提议把东北变成苏联的第17个加盟共和国,斯大林听后当场讥讽道:“张作霖同志。”

人生录
2026-10-09 16:01:05
新能源车大变天,我国轴向磁通电机突破,电车续航有救了?

新能源车大变天,我国轴向磁通电机突破,电车续航有救了?

悦心知足
2026-10-12 19:35:27
最后的洗盘?周二,A股或迎来新一轮上涨

最后的洗盘?周二,A股或迎来新一轮上涨

郭小凡财经
2026-10-12 18:15:40
川普要泽连斯基下台 乌军连炸俄三大数据中心

川普要泽连斯基下台 乌军连炸俄三大数据中心

西楼饮月
2026-10-11 22:56:15
2026-10-12 21:12:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14181文章数 142748关注度
往期回顾 全部

科技要闻

尊界:10月底确认制动踏板支架升级方案

头条要闻

8千元小狗遭仅退款 商家驱车600公里上门顾客称狗已死

头条要闻

8千元小狗遭仅退款 商家驱车600公里上门顾客称狗已死

体育要闻

一周吃6顿披萨的胖子,也能单防姆巴佩?

娱乐要闻

张艺谋身体状况曝光 陈婷不再顾及体面

财经要闻

尊界,是江淮的救命车还是失血引擎?

汽车要闻

全新smart精灵2号来了 两门两座 传承经典纯电进化

态度原创

房产
本地
亲子
教育
军事航空

房产要闻

等了半年!今年海口最值得期待的新盘,即将亮相!

本地新闻

踏访沙县第一村,寻国民小吃本源

亲子要闻

两个宝宝笑得很开心,妈妈对此感到疑惑,网友:是觉得对方好笑吗

教育要闻

六年级开学第一个月,小升初家长最该盯的三件事(不是分数)

军事要闻

视频:沙特方面公布利雅得机场遭袭画面

无障碍浏览 进入关怀版