网易首页 > 网易号 > 正文 申请入驻

魔法原子具身Agent框架登顶全球第一

0
分享至


MolmoSpaces 榜单是目前全球具身智能领域最具公信力的零样本评测基准。

本文为IPO早知道原创

作者|Stone Jin

据IPO早知道消息,在由艾伦人工智能研究所(AI2)发起的全球权威具身智能零样本评测基准 MolmoSpaces 最新榜单上,魔法原子旗下面向通用机器人操作的 VLM Agent 框架 EchoPolicy-0 以 75.4%的机器人操作平均成功率位列 MolmoSpaces Combined 榜单全球第一,覆盖全部 4 个 v1 任务。

同一榜单、同一分组下,魔法原子自研具身智能 Agent 框架 MagicBrain 凭借 3.4B 参数规模,以 72.4%的机器人操作平均成功率位列 MolmoSpaces Combined 榜单全球第四,其抓取成功率达到 94.4%,远超行业平均水平。


MolmoSpaces 榜单是目前全球具身智能领域最具公信力的零样本评测基准,面向操作、导航与更长程的具身任务。MolmoSpaces 生态包含超过 23 万个室内环境、约 13 万个物体资产,为评测提供了丰富的变化来源。机器人需要面对超出固定演示环境的情况,在不同背景、几何结构与物体分布下寻找目标,并根据局部条件完成任务。

同时,MolmoSpaces 包含可移动的刚体物体和带关节的交互对象,机器人不仅要在图像中找对目标,还必须通过真实的仿真接触改变对象状态,让机器人的作业任务具有实质难度。

MolmoSpaces 的基准明确给出初始场景、机器人与相机配置、任务指令和成功条件,完整清单、统一计分与公开结果能够把零散演示转化为可比较的数据。魔法原子 EchoPolicy-0 与 MagicBrain 框架参与的四项务分别涉及自由物体抓取、关节物体交互和多阶段操作,从不同侧面考察具身智能 Agent 框架的系统能力,而不是只看一个单项指标。

2026 年以来,具身智能正从演示阶段走进真实产线,竞争重心上移到机器人的“大脑”——具身智能大模型。随着机器人运动控制能力快速提升,机器人的身体更灵活、更耐用,大脑的实际应用也随身体边界的打开而快速演进。相应地,市场的研究方向正在转向:如何完成更复杂的任务,如何快速上手新任务。MolmoSpaces 的评测,也同样关注具身智能大模型的泛化能力。

魔法原子研发实验室 MagicLab Studio 负责人表示:“在具身大脑路线的选择上,我们认可分层架构这种方式,并发现指令遵循能力是当前模型在通用任务上遇到的一个难点。EchoPolicy 通过 Agent 框架及轨迹打分的方式来保证指令遵循能力;MagicBrain 通过端到端视觉引导的方式来优化指令遵循效果,两者均取得了较好的结果。”

EchoPolicy-0 :

让机器人多任务共享一套思考与行动方式

机器人要完成一项任务,需要把语言目标、视觉观察与物理动作持续连接起来。例如抓住物体之后,要判断是否真的拿稳;打开柜门之前,要找到可交互的位置;一次动作没有达到预期,机器人需要根据新情况调整计划。

这些动作看起来不同,但属于具身智能机器人跨任务需要面对的共通问题:目标在哪里,当前状态是什么,应该调用哪种能力,动作是否达到目的,以及失败后如何继续。

魔法原子 MagicLab Studio 围绕这些跨任务共通的问题,将视觉语言模型、几何操作工具与通用动作策略组织为统一的 VLM Agent 框架 EchoPolicy-0 ,让观察环境、理解目标、选择能力、执行动作,以及观测验证结果形成闭环。不同任务共享这套机制,具体的接触和运动由相应执行器完成

EchoPolicy-0 框架研发负责人表示:“ EchoPolicy-0 的通用性体现在让能力能够被统一调用、组合和验证。 EchoPolicy-0 当前版本已在 Franka 单臂平台上完成四类操作验证。”

在 VLA 的使用方式上,魔法原子 MagicLab Studio 引入了 VLM 目标引导的多候选轨迹选择:让动作模型先提出多种可能的运动,将候选投影到图像平面,再依据 VLM 指定的目标选择更匹配的轨迹,并在执行后持续验证。高层视觉理解由此参与低层动作选择,而不仅停留在任务分解。


EchoPolicy-0 VLM 框架多候选轨迹选择原理

EchoPolicy-0 框架在 MolmoSpaces 的四项操作任务上完成了 3915 局全量评测,取得了 75.4% 的四项任务等权平均成功率,截至 2026 年 10 月 13 日,位列 MolmoSpaces Combined 榜单球第一。

魔法原子 MagicLab Studio 将 EchoPolicy-0 框架在 MolmoSpaces 上的四项评测视为统一框架的一次系统验证,同时用逐局结果指导后续迭代。EchoPolicy-0 展示了一条面向通用机器人操作的系统路线,统一 Agent 框架能够组织不同类型的操作能力:由 VLM Agent 组织语义目标和任务状态,由几何工具提供可检查的空间交互,由通用动作策略生成候选,通过 VLM 目标引导的轨迹选择约束动作方向,再由持续验证把它们连接起来。

EchoPolicy-0 针对具身智能模型落地场景,回答了一个问题:模型提出来的动作,怎么保证选的是对的那一个。 它不改模型的输入,而是在模型给出的多套候选动作里,按视觉目标筛出更匹配的一条,并在执行后持续验证。对下游客户而言,这条路线的价值不在单点成功率上——新增一类任务时,不必再从零搭一套系统,只要把能力接进同一套框架即可。

自研大脑:MagicBrain 让模型能“看见”

从“演示可用”逼近“产线可用”

具身智能 Agent 框架 MagicBrain 来自魔法原子 MagicLab Studio ,在 MolmoSpaces 的抓取、抓取放置、打开与关闭四项操作任务上, MagicBrain 完成了 3915 局全量评测,四项 v1 任务平均成功率全球第四。其中,抓取(Pick-v1)、抓取放置(Pick & Place-v1)两项任务均拿下了所在任务榜单的全球第一,抓取任务成功率更是高达 94.4%。

视觉-语言-动作(VLA)是当前具身智能领域备受关注的一类模型架构,其语言跟随能力是行业内一个由来已久的共性问题。让模型执行“把苹果放进篮子”这类指令,包含了两件对它并不容易的事:先理解“苹果”这个名词,再在像素层面找出哪个是“苹果”。

魔法原子 MagicLab Studio 在研发测试中发现,抓取失败的案例里,绝大多数不是动作执行不稳,而是抓错了对象,或者放错了位置。换句话说,VLA 在动作学习上已经足够强,真正的短板在把名词短语绑定到图像区域,这也是它训练信号最稀疏的一环——想抓“苹果”却抓成旁边的“梨”,错不在手,而在眼睛。

实际上,VLA 对视觉信号的跟随能力,强于对语言指令的跟随:“听懂话”是 VLA 的短板,“看懂图”才是长板。为此,MagicBrain 采用了一套被称为 In-Context Visual Guidance(上下文视觉引导)的技术路线,VLA 只负责做动作,找目标这件事,交给更擅长看图的 VLM Agent。


具身智能Agent框架 MagicBrain 三层架构层级图

未来,这套视觉引导技术也可以迁移到交互等更多场景——毕竟,给模型“画”出该看的东西,不只适用于抓取。MagicBrain 提供了一个更省力的分工范式。语言说清“做什么”,像素说清“是哪个、在哪里”,把两路信息各交给擅长的模型,它没有引入新的模型结构,没有堆砌更大的参数量,只是重新排布了信息的传递路径。

“我们在 VLA 理解语言的基础上,让它进一步去‘看见’,并且知道该看什么”,魔法原子 MagicLab Studio 负责人表示,这一技术路线不依赖提升参数规模来换取大模型性能,此次参与评测的模型参数规模仅为 3.4B。

这意味着,任何具备基础数据能力的团队都能低成本复现,不卷模型大小也能拿到增益——在具身智能走向规模化的路上,“组合而非全能”的分工思路,或许比“一个模型通吃”更接近现实。

行业层面,魔法原子回答了一个备受关注的问题:VLA 到底能不能用得起、用得上。抓取与放置是具身智能从实验室走向真实场景的高频基础动作——工厂分拣、仓储搬运、家庭整理都依赖它。抓取成功率从此前 70% 到 94.4% 的跨越,意味着 VLA 正从“演示可用”逼近“产线可用”的临界线。对行业而言,每一点成功率提升,都在扩大可商业化的场景边界。

魔法原子两条技术路径的有限性均获验证

“在 MolmoSpaces 榜单上拿到了全球第一,但魔法原子关心的,是榜单背后那个真正的问题:具身智能机器人的大脑,到底应该怎么长,长在哪里。”魔法原子 MagicLab Studio 负责人表示。

魔法原子认为,具身智能应沿着分层协同的技术路线推进:由上层模型负责理解、规划与纠错,由底层模型负责将任务意图转化为可靠的物理动作。

上层模型要承担视觉理解、任务分解、规划决策、错误修正和记忆管理。目前前沿基础模型在这些方面已有较好基础,但仍需针对具身场景中的空间关系、物理约束和持续交互做适配。上述负责人认为,行业短期应重点建设围绕模型运行的 Harness,将上下文管理、工具调用、执行反馈和评测机制组织起来,并探索以反馈驱动的迭代优化,包括 RSI 方向;长期则需要依托真实场景数据开展自主训练与后训练,逐步增强模型本身的具身理解和决策能力。

该负责人表示,承担动作生成与控制执行的底层模型,可以采用 VLA、WAM 或其他混合架构。架构选择应服务于实际任务,重点考察指令遵循、动作精度、执行效率及泛化能力。

目前,分层架构本身在行业内已被广泛讨论,其中一个关键问题仍未得到充分解决:上层的任务意图,如何被底层准确理解并稳定执行。

魔法原子 MagicLab Studio 在实验中发现,现有动作模型在分布外(OOD)场景下仍容易出现目标选择错误、空间约束理解偏差等情况。为此,团队尝试了两种互补的解决思路。

第一种是本次拿下 MolmoSpaces 榜单第一的 EchoPolicy-0,通过 Agent 调度、候选选择和闭环验证,提高执行与指令的一致性。其中,上层模型将任务分解为明确的子目标,系统对底层模型生成的多条候选动作轨迹进行评估,选择更符合当前指令的候选;执行后,再依据新观测判断进展,决定继续、重试、重规划或回退,并按需调用几何工具完成特定操作。

这一技术路线的优势在于可以在不重新训练底层模型的情况下,通过改进调度、选择和验证机制快速迭代,提升已有模型的任务完成能力。

MagicBrain 的思路是通过显式视觉引导和配套训练,提高动作生成阶段的目标对齐能力。

其中值得借鉴的是上下层之间的视觉引导机制。MagicBrain 将上层识别出的交互目标、放置区域以及短期运动历史,以视觉标记的形式注入底层模型的观测,让任务意图直接对应到图像中的具体位置。该方法无需改变 VLA 的网络架构,通过配套后训练,使模型学会将视觉标记与操作语义、动作行为联系起来,从而降低仅依赖语言指令时的歧义。

两种思路分别作用于“动作生成”与“执行、选择、验证”两个环节,具有较强的互补性:视觉引导帮助底层生成更符合目标的动作,Agent 调度则负责选择、执行、检查和纠错。

此次 EchoPolicy-0 拿下第一、MagicBrain 拿下第四,两条路径的有效性都得到了验证。

谈及未来,魔法原子表示:“下一阶段,我们将进一步探索二者结合,形成从任务理解到物理执行的完整反馈闭环,并进入真实工业场景,持续检验任务成功率、运行稳定性和部署成本,并在这一过程中完善数据与模型平台。将经过验证的能力沉淀为可复用的技能模块、标准接口和解决方案,同时系统积累成功、失败及人工纠正数据,建立“部署—采集—训练—评测—再部署”的持续迭代机制,推动工程经验转化为基础模型能力。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
住建部明确:楼龄满25年的老房子,一律这样处理!老小区有福了

住建部明确:楼龄满25年的老房子,一律这样处理!老小区有福了

细说职场
2026-11-09 17:05:59
黄仁勋太聪明了!自爆出轨、启动涉密调查,这场风波,远不止八卦!

黄仁勋太聪明了!自爆出轨、启动涉密调查,这场风波,远不止八卦!

乌娱子酱
2026-11-09 17:29:35
美官员称与黄仁勋婚外情女子为中国情报机构工作,外交部:纯属捕风捉影

美官员称与黄仁勋婚外情女子为中国情报机构工作,外交部:纯属捕风捉影

澎湃新闻
2026-11-09 15:22:33
揪心!赴泰失联女子已被转卖,两国警方立案,撂狠话给钱也不放人

揪心!赴泰失联女子已被转卖,两国警方立案,撂狠话给钱也不放人

随笔写人间
2026-11-09 13:42:36
黄仁勋发文承认婚外情:没有任何借口!英伟达董事会已宣布启动独立调查,女儿此前突然取消韩国行称“家庭原因”

黄仁勋发文承认婚外情:没有任何借口!英伟达董事会已宣布启动独立调查,女儿此前突然取消韩国行称“家庭原因”

新民周刊
2026-11-09 11:16:26
黄乐与八百亿集资诈骗往事

黄乐与八百亿集资诈骗往事

西虹市闲话
2026-11-09 16:33:30
小扒一下黄仁勋的现任太太

小扒一下黄仁勋的现任太太

阑夕
2026-11-09 11:32:36
黄仁勋出轨,还能扯上中国?

黄仁勋出轨,还能扯上中国?

环球时报国际
2026-11-09 12:39:07
中国首富张一鸣建议公司员工,不要住在城乡结合部,应该全部住在北京市区,哪怕房子小点,省下的时间可以健身读书看电影!

中国首富张一鸣建议公司员工,不要住在城乡结合部,应该全部住在北京市区,哪怕房子小点,省下的时间可以健身读书看电影!

财经要参
2026-11-09 12:00:05
2980人!俄兵单日损失人数大幅破纪录

2980人!俄兵单日损失人数大幅破纪录

名人苟或
2026-11-09 14:14:28
太原一建筑发生火灾致14死:大楼物业公司参保人数为0,曾被公告失信

太原一建筑发生火灾致14死:大楼物业公司参保人数为0,曾被公告失信

界面新闻
2026-11-09 14:27:53
楼顶漏水砸开花坛露出白骨,DNA鉴定为失踪28年女子,凶手整容漂白身份上海落网,涉嫌故意杀人罪等将一审宣判

楼顶漏水砸开花坛露出白骨,DNA鉴定为失踪28年女子,凶手整容漂白身份上海落网,涉嫌故意杀人罪等将一审宣判

大风新闻
2026-11-09 11:12:07
哈哈“删姆超市”?真服了这个补水啦,超市老板把自己脸贴饮料瓶上了。

哈哈“删姆超市”?真服了这个补水啦,超市老板把自己脸贴饮料瓶上了。

LOGO研究所
2026-11-09 09:43:11
张国焘晚年写回忆录时骂遍了近代大批风云人物,但唯独对这两人始终保持着高度崇敬

张国焘晚年写回忆录时骂遍了近代大批风云人物,但唯独对这两人始终保持着高度崇敬

唠叨说历史
2026-11-09 15:37:04
黄仁勋风波又有新画面!商务派对照片引热议,黄乐竟越过黄仁勋伸手搭旁边男子肩膀,网友看懵

黄仁勋风波又有新画面!商务派对照片引热议,黄乐竟越过黄仁勋伸手搭旁边男子肩膀,网友看懵

王老师你还好吗
2026-11-09 14:32:24
美女黄乐,是如何拿下黄仁勋的?

美女黄乐,是如何拿下黄仁勋的?

麦杰逊
2026-11-09 17:04:29
北约秘书长得知特朗普阵营惨败,变脸之快实在叫人不得不服

北约秘书长得知特朗普阵营惨败,变脸之快实在叫人不得不服

面包夹知识
2026-11-09 14:14:57
太荒诞!中超一夜三消息:金靴刚捧就官宣离队,成都蓉城提前发完工资再冲冠,39分钟致歉信引争议,球迷根本不买账!

太荒诞!中超一夜三消息:金靴刚捧就官宣离队,成都蓉城提前发完工资再冲冠,39分钟致歉信引争议,球迷根本不买账!

锐评利物浦
2026-11-09 10:34:39
11月9日,关于2026年调整养老金的通知,财政部和人社部有发布吗?

11月9日,关于2026年调整养老金的通知,财政部和人社部有发布吗?

小谈食刻美食
2026-11-09 16:26:33
武契奇交出大权没几天,塞尔维亚新政府,马上发起“反攻倒算”

武契奇交出大权没几天,塞尔维亚新政府,马上发起“反攻倒算”

闻识
2026-11-08 14:14:10
2026-11-09 18:59:00
IPO早知道 incentive-icons
IPO早知道
IPO情报专家。
7589文章数 2415关注度
往期回顾 全部

科技要闻

黄仁勋承认出轨:伤害了妻儿,毫无借口

头条要闻

陕西一学校骗捐被封 家长半年交8000元钱进了校长账户

头条要闻

陕西一学校骗捐被封 家长半年交8000元钱进了校长账户

体育要闻

里夫斯43分破活塞:卢卡不在家,就拿40+?

娱乐要闻

黄仁勋与黄乐合照曝光,吃饭氛围暧昧

财经要闻

纽氏达特IPO:渠道商“三无”管理引问询

汽车要闻

雨中的埃安Ray7,有点上头

态度原创

本地
房产
家居
艺术
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

房产要闻

突发!陵水杀出重磅宅地!

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

看看唐太宗李世民的草书,笔走龙蛇、帝王气象,寻常人根本写不出来!

军事要闻

菲外交部罕见批评本国官员涉华言论 或在敲打菲防长

无障碍浏览 进入关怀版