网易首页 > 网易号 > 正文 申请入驻

魔法原子具身 Agent 框架拿下 MolmoSpaces全球第一 让VLA 从“演示可用”逼近“产线可用”

0
分享至

近日,在由艾伦人工智能研究所(AI2)发起的全球权威具身智能零样本评测基准 MolmoSpaces 最新榜单上,魔法原子旗下面向通用机器人操作的 VLM Agent 框架 EchoPolicy-0 以 75.4%的机器人操作平均成功率位列 MolmoSpaces Combined 榜单全球第一,覆盖全部 4 个 v1 任务。

同一榜单、同一分组下,魔法原子自研具身智能 Agent 框架 MagicBrain 凭借 3.4B 参数规模,以 72.4%的机器人操作平均成功率位列 MolmoSpaces Combined 榜单全球第四,其抓取成功率达到 94.4%,远超行业平均水平。



魔法原子旗下具身智能 Agent 框架 EchoPolicy-0 位列 MolmoSpaces 榜单第一

MolmoSpaces 榜单是目前全球具身智能领域最具公信力的零样本评测基准,面向操作、导航与更长程的具身任务。MolmoSpaces 生态包含超过 23 万个室内环境、约 13 万个物体资产,为评测提供了丰富的变化来源。机器人需要面对超出固定演示环境的情况,在不同背景、几何结构与物体分布下寻找目标,并根据局部条件完成任务。

同时,MolmoSpaces 包含可移动的刚体物体和带关节的交互对象,机器人不仅要在图像中找对目标,还必须通过真实的仿真接触改变对象状态,让机器人的作业任务具有实质难度。

MolmoSpaces 的基准明确给出初始场景、机器人与相机配置、任务指令和成功条件,完整清单、统一计分与公开结果能够把零散演示转化为可比较的数据。魔法原子 EchoPolicy-0 与 MagicBrain 框架参与的四项务分别涉及自由物体抓取、关节物体交互和多阶段操作,从不同侧面考察具身智能 Agent 框架的系统能力,而不是只看一个单项指标。

2026 年以来,具身智能正从演示阶段走进真实产线,竞争重心上移到机器人的“大脑”——具身智能大模型。随着机器人运动控制能力快速提升,机器人的身体更灵活、更耐用,大脑的实际应用也随身体边界的打开而快速演进。相应地,市场的研究方向正在转向:如何完成更复杂的任务,如何快速上手新任务。MolmoSpaces 的评测,也同样关注具身智能大模型的泛化能力。

魔法原子研发实验室 MagicLab Studio 负责人表示:“在具身大脑路线的选择上,我们认可分层架构这种方式,并发现指令遵循能力是当前模型在通用任务上遇到的一个难点。EchoPolicy 通过 Agent 框架及轨迹打分的方式来保证指令遵循能力;MagicBrain 通过端到端视觉引导的方式来优化指令遵循效果,两者均取得了较好的结果。”

EchoPolicy-0 :让机器人多任务共享一套思考与行动方式

机器人要完成一项任务,需要把语言目标、视觉观察与物理动作持续连接起来。例如抓住物体之后,要判断是否真的拿稳;打开柜门之前,要找到可交互的位置;一次动作没有达到预期,机器人需要根据新情况调整计划。

这些动作看起来不同,但属于具身智能机器人跨任务需要面对的共通问题:目标在哪里,当前状态是什么,应该调用哪种能力,动作是否达到目的,以及失败后如何继续。

魔法原子 MagicLab Studio 围绕这些跨任务共通的问题,将视觉语言模型、几何操作工具与通用动作策略组织为统一的 VLM Agent 框架 EchoPolicy-0 ,让观察环境、理解目标、选择能力、执行动作,以及观测验证结果形成闭环。不同任务共享这套机制,具体的接触和运动由相应执行器完成。

EchoPolicy-0 框架研发负责人表示:“ EchoPolicy-0 的通用性体现在让能力能够被统一调用、组合和验证。 EchoPolicy-0 当前版本已在 Franka 单臂平台上完成四类操作验证。”

在 VLA 的使用方式上,魔法原子 MagicLab Studio 引入了 VLM 目标引导的多候选轨迹选择:让动作模型先提出多种可能的运动,将候选投影到图像平面,再依据 VLM 指定的目标选择更匹配的轨迹,并在执行后持续验证。高层视觉理解由此参与低层动作选择,而不仅停留在任务分解。



EchoPolicy-0 VLM 框架多候选轨迹选择原理

EchoPolicy-0 框架在 MolmoSpaces 的四项操作任务上完成了 3915 局全量评测,取得了 75.4% 的四项任务等权平均成功率,截至 2026 年 10 月 13 日,位列 MolmoSpaces Combined 榜单球第一。

魔法原子 MagicLab Studio 将 EchoPolicy-0 框架在 MolmoSpaces 上的四项评测视为统一框架的一次系统验证,同时用逐局结果指导后续迭代。EchoPolicy-0 展示了一条面向通用机器人操作的系统路线,统一 Agent 框架能够组织不同类型的操作能力:由 VLM Agent 组织语义目标和任务状态,由几何工具提供可检查的空间交互,由通用动作策略生成候选,通过 VLM 目标引导的轨迹选择约束动作方向,再由持续验证把它们连接起来。

EchoPolicy-0 针对具身智能模型落地场景,回答了一个问题:模型提出来的动作,怎么保证选的是对的那一个。 它不改模型的输入,而是在模型给出的多套候选动作里,按视觉目标筛出更匹配的一条,并在执行后持续验证。对下游客户而言,这条路线的价值不在单点成功率上——新增一类任务时,不必再从零搭一套系统,只要把能力接进同一套框架即可。

自研大脑:MagicBrain 让模型能“看见” 从“演示可用”逼近“产线可用”

具身智能 Agent 框架 MagicBrain 来自魔法原子 MagicLab Studio ,在 MolmoSpaces 的抓取、抓取放置、打开与关闭四项操作任务上, MagicBrain 完成了 3915 局全量评测,四项 v1 任务平均成功率全球第四。其中,抓取(Pick-v1)、抓取放置(Pick & Place-v1)两项任务均拿下了所在任务榜单的全球第一,抓取任务成功率更是高达 94.4%。

视觉-语言-动作(VLA)是当前具身智能领域备受关注的一类模型架构,其语言跟随能力是行业内一个由来已久的共性问题。让模型执行“把苹果放进篮子”这类指令,包含了两件对它并不容易的事:先理解“苹果”这个名词,再在像素层面找出哪个是“苹果”。

魔法原子 MagicLab Studio 在研发测试中发现,抓取失败的案例里,绝大多数不是动作执行不稳,而是抓错了对象,或者放错了位置。换句话说,VLA 在动作学习上已经足够强,真正的短板在把名词短语绑定到图像区域,这也是它训练信号最稀疏的一环——想抓“苹果”却抓成旁边的“梨”,错不在手,而在眼睛。

实际上,VLA 对视觉信号的跟随能力,强于对语言指令的跟随:“听懂话”是 VLA 的短板,“看懂图”才是长板。为此,MagicBrain 采用了一套被称为 In-Context Visual Guidance(上下文视觉引导)的技术路线,VLA 只负责做动作,找目标这件事,交给更擅长看图的 VLM Agent。



具身智能Agent框架 MagicBrain 三层架构层级图

未来,这套视觉引导技术也可以迁移到交互等更多场景——毕竟,给模型“画”出该看的东西,不只适用于抓取。MagicBrain 提供了一个更省力的分工范式。语言说清“做什么”,像素说清“是哪个、在哪里”,把两路信息各交给擅长的模型,它没有引入新的模型结构,没有堆砌更大的参数量,只是重新排布了信息的传递路径。

“我们在 VLA 理解语言的基础上,让它进一步去‘看见’,并且知道该看什么”,魔法原子 MagicLab Studio 负责人表示,这一技术路线不依赖提升参数规模来换取大模型性能,此次参与评测的模型参数规模仅为 3.4B。

这意味着,任何具备基础数据能力的团队都能低成本复现,不卷模型大小也能拿到增益——在具身智能走向规模化的路上,“组合而非全能”的分工思路,或许比“一个模型通吃”更接近现实。

行业层面,魔法原子回答了一个备受关注的问题:VLA 到底能不能用得起、用得上。抓取与放置是具身智能从实验室走向真实场景的高频基础动作——工厂分拣、仓储搬运、家庭整理都依赖它。抓取成功率从此前 70% 到 94.4% 的跨越,意味着 VLA 正从“演示可用”逼近“产线可用”的临界线。对行业而言,每一点成功率提升,都在扩大可商业化的场景边界。

魔法原子的 “具身大脑” 设计哲学

“在 MolmoSpaces 榜单上拿到了全球第一,但魔法原子关心的,是榜单背后那个真正的问题:具身智能机器人的大脑,到底应该怎么长,长在哪里。”魔法原子 MagicLab Studio 负责人表示。

魔法原子认为,具身智能应沿着分层协同的技术路线推进:由上层模型负责理解、规划与纠错,由底层模型负责将任务意图转化为可靠的物理动作。

上层模型要承担视觉理解、任务分解、规划决策、错误修正和记忆管理。目前前沿基础模型在这些方面已有较好基础,但仍需针对具身场景中的空间关系、物理约束和持续交互做适配。上述负责人认为,行业短期应重点建设围绕模型运行的 Harness,将上下文管理、工具调用、执行反馈和评测机制组织起来,并探索以反馈驱动的迭代优化,包括 RSI 方向;长期则需要依托真实场景数据开展自主训练与后训练,逐步增强模型本身的具身理解和决策能力。

该负责人表示,承担动作生成与控制执行的底层模型,可以采用 VLA、WAM 或其他混合架构。架构选择应服务于实际任务,重点考察指令遵循、动作精度、执行效率及泛化能力。

目前,分层架构本身在行业内已被广泛讨论,其中一个关键问题仍未得到充分解决:上层的任务意图,如何被底层准确理解并稳定执行。

魔法原子 MagicLab Studio 在实验中发现,现有动作模型在分布外(OOD)场景下仍容易出现目标选择错误、空间约束理解偏差等情况。为此,团队尝试了两种互补的解决思路。

第一种是本次拿下 MolmoSpaces 榜单第一的 EchoPolicy-0,通过 Agent 调度、候选选择和闭环验证,提高执行与指令的一致性。其中,上层模型将任务分解为明确的子目标,系统对底层模型生成的多条候选动作轨迹进行评估,选择更符合当前指令的候选;执行后,再依据新观测判断进展,决定继续、重试、重规划或回退,并按需调用几何工具完成特定操作。

这一技术路线的优势在于可以在不重新训练底层模型的情况下,通过改进调度、选择和验证机制快速迭代,提升已有模型的任务完成能力。

MagicBrain 的思路是通过显式视觉引导和配套训练,提高动作生成阶段的目标对齐能力。

其中值得借鉴的是上下层之间的视觉引导机制。MagicBrain 将上层识别出的交互目标、放置区域以及短期运动历史,以视觉标记的形式注入底层模型的观测,让任务意图直接对应到图像中的具体位置。该方法无需改变 VLA 的网络架构,通过配套后训练,使模型学会将视觉标记与操作语义、动作行为联系起来,从而降低仅依赖语言指令时的歧义。

两种思路分别作用于“动作生成”与“执行、选择、验证”两个环节,具有较强的互补性:视觉引导帮助底层生成更符合目标的动作,Agent 调度则负责选择、执行、检查和纠错。

此次 EchoPolicy-0 拿下第一、MagicBrain 拿下第四,两条路径的有效性都得到了验证。

谈及未来,魔法原子表示:“下一阶段,我们将进一步探索二者结合,形成从任务理解到物理执行的完整反馈闭环,并进入真实工业场景,持续检验任务成功率、运行稳定性和部署成本,并在这一过程中完善数据与模型平台。将经过验证的能力沉淀为可复用的技能模块、标准接口和解决方案,同时系统积累成功、失败及人工纠正数据,建立“部署—采集—训练—评测—再部署”的持续迭代机制,推动工程经验转化为基础模型能力。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
山东省收入最高的七家医院

山东省收入最高的七家医院

华庭讲美食
2026-10-19 16:22:05
四十年改革:中国能稳、能强、能走远,唯一正道是社会主义公有制

四十年改革:中国能稳、能强、能走远,唯一正道是社会主义公有制

牛锅巴小钒
2026-10-20 13:13:16
离NBA揭幕战不到2天,新赛季MVP概率已更新:东契奇0%,文班亚马77%

离NBA揭幕战不到2天,新赛季MVP概率已更新:东契奇0%,文班亚马77%

嘴角上翘
2026-10-20 00:43:49
34℃!冷空气今天抵达浙江,局地中到大雨,今明降温6-8℃,22日早晨最低14℃上下!24—25日沿海部分大到暴雨,26-28日还有一股冷空气要来

34℃!冷空气今天抵达浙江,局地中到大雨,今明降温6-8℃,22日早晨最低14℃上下!24—25日沿海部分大到暴雨,26-28日还有一股冷空气要来

台州交通广播
2026-10-20 01:02:57
比黄金还要贵!1公斤卖165万,以前在农村被当垃圾,为何现在暴涨

比黄金还要贵!1公斤卖165万,以前在农村被当垃圾,为何现在暴涨

抽象派大师
2026-10-20 07:53:14
建设银行存款利率调整,20万存1年,到期能拿多少利息?答案来了

建设银行存款利率调整,20万存1年,到期能拿多少利息?答案来了

江启
2026-10-19 14:38:15
网传大闸蟹“全面滞销”?记者调查最新行情

网传大闸蟹“全面滞销”?记者调查最新行情

环球网资讯
2026-10-20 08:38:15
10月20日,人社部、财政部关于2026年上调退休人员基本养老金的通知正式公布之前,人社部一大早发布了一条有关社保卡的动态

10月20日,人社部、财政部关于2026年上调退休人员基本养老金的通知正式公布之前,人社部一大早发布了一条有关社保卡的动态

白昼说故事
2026-10-20 08:59:50
1979年,刊在《光明日报》上的那篇文章,到底是谁写的?

1979年,刊在《光明日报》上的那篇文章,到底是谁写的?

漫步史书
2026-10-19 08:56:53
立刻停止食用这些粗粮,吃得越多,肠癌风险越高?医生告诉你真相

立刻停止食用这些粗粮,吃得越多,肠癌风险越高?医生告诉你真相

任医生聊健康
2026-10-17 15:05:12
比尔盖茨表示:他这辈子犯过最大的错误,就是把原本属于微软的移动生态,拱手让给了安卓

比尔盖茨表示:他这辈子犯过最大的错误,就是把原本属于微软的移动生态,拱手让给了安卓

元气科技馆
2026-10-10 21:56:30
央视直播NBA时间表:10月21日,CCTV5直播马刺VS雷霆揭幕战

央视直播NBA时间表:10月21日,CCTV5直播马刺VS雷霆揭幕战

薇说体育
2026-10-20 11:25:05
为什么除了中俄两国外,全球再也没有他国能生产苏-27战机?

为什么除了中俄两国外,全球再也没有他国能生产苏-27战机?

迷彩前沿
2026-10-20 12:22:59
11万字盘点美国太平洋舰队实力(2026年)

11万字盘点美国太平洋舰队实力(2026年)

述策
2026-10-19 09:49:30
细思极恐!56岁女子怪病缠身,连子宫都切了还治不好!半年后胃镜伸进肚子里,医生夹出的东西让人倒吸一口凉气

细思极恐!56岁女子怪病缠身,连子宫都切了还治不好!半年后胃镜伸进肚子里,医生夹出的东西让人倒吸一口凉气

徐德文科学频道
2026-10-19 11:13:07
又一电诈头目落网!坑害国人超27亿,杀人不眨眼,全网呼吁查赵薇

又一电诈头目落网!坑害国人超27亿,杀人不眨眼,全网呼吁查赵薇

泪满过眼
2026-10-10 07:24:15
CBA速递!周鹏亲承退役时间,桑普森确认出战京粤大战,广厦凑齐三外援!

CBA速递!周鹏亲承退役时间,桑普森确认出战京粤大战,广厦凑齐三外援!

体坛卡卡说
2026-10-20 13:10:36
刘恺威开180万豪车带女友同居,女方是32岁演员,圆脸漂亮身材好

刘恺威开180万豪车带女友同居,女方是32岁演员,圆脸漂亮身材好

椰黄娱乐
2026-10-20 10:53:50
一张张停暖申请表 正在倒逼一场巨大变革,北方供热行业迎来转折点

一张张停暖申请表 正在倒逼一场巨大变革,北方供热行业迎来转折点

音乐时光的娱乐
2026-10-12 12:28:25
留学生披旗后续,正脸曝光身份被扒,钧正平点名,父母恐不好过了

留学生披旗后续,正脸曝光身份被扒,钧正平点名,父母恐不好过了

潋滟晴方DAY
2026-10-20 13:04:52
2026-10-20 14:32:49
松果财经 incentive-icons
松果财经
专注商业研究,挖掘新商业机会
5805文章数 4916关注度
往期回顾 全部

科技要闻

新版MiniMax,能和DeepSeek掰手腕吗?

头条要闻

男子身中16刀死亡 前妻逃亡26年"隐身"当了妇女主任

头条要闻

男子身中16刀死亡 前妻逃亡26年"隐身"当了妇女主任

体育要闻

30天30队·奇才:三状元一榜眼 35胜?

娱乐要闻

港媒曝刘恺威与32岁黎纪君恋情,秘密恋爱两个月

财经要闻

这些科技股王,为什么总输给茅台?

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

健康
房产
艺术
数码
军事航空

痘痘能根治吗?皮肤科医生说实话

房产要闻

488亩,两大豪宅级项目爆出!清水湾,要杀回来了!

艺术要闻

17家民企抱团,投资50亿建成广州第四高楼,每家分3层!

数码要闻

倍思海外推出U2 Pro Outdoor监控摄像头,带有可追踪移动目标的聚光灯

军事要闻

特朗普狠批泽连斯基"不想结束战争" 泽连斯基强硬回怼

无障碍浏览 进入关怀版