网易首页 > 网易号 > 正文 申请入驻

登顶 RoboCasa,建立新基准:拓展 Physical Coding 的能力边界

0
分享至


在 RoboCasa365 官方榜单上,HexaShell 以 85.6% 的总体成功率登顶第一。

编辑丨李希

Physical Coding 用代码连接数字世界与物理世界:模型提供理解、推理与编程能力,Harness 组织工具、执行行动并返回反馈,任务与环境检验 Agent 能否真正解决问题,并为进一步改进积累经验与数据。

沿着这一思路,六角未来对此前构建的 HexaShell-Preview 进行了改进,让前沿模型的理解与推理能力能够更可靠地转化为行动。改进后的 HexaShell 在 RoboCasa365 官方榜单中登顶第一,领先第二名21.2 个百分点。

同时,为推动模型本身的进步,六角未来与清华大学、北京大学和新加坡国立大学联合发布了 EmbodiedLab,一个为求知而行动的科学实验评测基准:在可交互、可验证的实验环境中,检验 Agent 自主探索、获取证据和完成任务的能力,并积累经过验证的任务轨迹,为模型训练提供有效数据。


01

HexaShell:登顶 RoboCasa

▎RoboCasa 官方榜单第一,领先 21.2 个百分点

在 RoboCasa365 官方榜单上,HexaShell 以 85.6% 的总体成功率登顶第一,领先第二名超过 20 个百分点——而此前其他方案的成绩还在及格线附近徘徊。


RoboCasa365 是斯坦福、UT Austin 等机构发起的 RoboCasa 仿真平台,是当前全球具身操作领域的主流评测基准之一,其官方榜单云集 π0、英伟达 GR00T、Meta ProWAM 等全球头部具身模型,是行业公认的“硬考场”之一。RoboCasa365 以仿真厨房为场景,任务覆盖食材处理、器具操作、多步骤烹饪等。Agent 需要观察场景、组织动作,并根据执行反馈持续推进。相较于单个动作的完成,把多个操作可靠地衔接成完整的任务流程,对模型的理解、规划与工具使用能力提出了更高要求。

除 RoboCasa 外,HexaShell 在 LIBERO-PRO、RoboTwin、RoboDojo(正在提交官方评测) 等基准上也超过了当前 SOTA 水平。这些基准在任务流程、场景变化和操作要求上各有侧重,也从不同角度检验了HexaShell 的泛化性。


▎通用 Harness:任务逻辑与硬件实现解耦

HexaShell 采用分层架构,把与具体机器人无关的通用能力,和与具体机器人相关的执行细节解耦。通用能力只需实现一次,便可在所有环境中复用。环境差异则统一收敛到最底层的轻量适配层。

  • 统一的机器人接口:模型在任务空间中表达意图,给出末端应到达的位置与朝向,而不直接操作关节空间,也不依赖具体的控制方式。感知、测量与运动接口在所有环境中保持一致。

  • 轻量的适配层:每个环境仅需实现一层适配,把接口请求映射为该环境原生的控制指令,并读取相机与本体状态。同构的机械臂共享同一运动规划模块,真机也能直接接入其自带的运动服务。

  • 不依赖特权信息:Agent 只使用真实机器人同样能获得的观测,包括相机图像、相机标定、本体状态和任务指令,而不访问仿真器内部的任何状态。这为能力从仿真迁移到真机提供了基础。

在具体实现上,约 9,300 行核心代码在所有环境间共享,每个环境的专用适配仅 350–1,450 行。依托这套架构,HexaShell 已在 Isaac Sim、MuJoCo、SAPIEN 三种仿真器中运行,覆盖 ARX X5 与 Franka Panda 两类机械臂,并已接入真机。

前沿模型为 Agent 带来了理解目标、制定计划和分析反馈的能力,HexaShell 让这些能力在现有的评测基准中得到了充分发挥。 要让模型能力继续向前,则需要让它面对更开放的任务和环境,在与真实世界的交互中探索方法、验证结果,为后续训练产生有效数据,拓展能力边界。因此,六角未来团队尝试把更多探索性的任务交给 Agent,检验其主动求知的能力。


02

EmbodiedLab:

为求知而行动的评测新基准

人类是在行动中认识世界的。科学就是一门为求知而行动的学科:提出假设、设计实验、取得证据,再根据证据修正认知。当 Agent 开始承担更开放的任务,同样需要检验它能否通过行动探索未知、形成判断。

▎Act to Know:让 Agent 为求知而行动

EmbodiedLab 希望检验 Agent 能否自主提出方法、获取证据、探索未知,但现有评测仍缺少对这一完整过程的覆盖:一类侧重Act to Change,考查 Agent 能否通过操作达成指定状态;另一类侧重科学探索,却常通过文本动作、数值查询或仪器调用直接返回结果,简化了信息获取所需的物理操作与测量。

在真实任务中,行动决定了能观察到什么,观察又影响下一步行动。EmbodiedLab 将实际操作与自主探索融入同一任务:Agent 仅获得实验目标、可用器材和操作规则,自主决定如何完成实验。

Act to Know关注 Agent 能否判断自己需要弄清什么,并通过行动找到答案。科学实验为此提供了可量化的评测载体:即使原理已知,装置参数仍需测量。Agent 需要自主选择方法、操作装置、读取数据,在“行动—观察—判断—再行动”的循环中逐步查明未知,并以实验结果检验探索的有效性。


▎实验设置与前沿模型的成绩

实验设置

EmbodiedLab 在仿真实验室中设置了30 项定量实验、14 个装置平台,覆盖力学、电学、光学、热学与化学 5 个学科领域,检验 Agent 在精细操作、长流程任务、精准读数、多点数据采集与分析等 4 个能力维度上的表现。同时,EmbodiedLab 还设计了隐藏任务评测,观察 Agent 面对未公开的新任务时,能否继续自主选择方法、取得证据并完成目标。

成功标准

成功 = 结果准确 + 证据有效 + 装置复原。

  • 结果准确:误差在仪器的容差范围内;对于预测或配置类任务,结果提交后装置还会继续运行,检验预测是否准确、配置是否达到目标。

  • 证据有效:引用的数据来自本次运行,且测量条件成立,例如托盘静止、温度稳定。

  • 装置复原:满足任务规定的结束状态,包括关闭设备、断开电源、将部件归位等要求。

评测同时记录成功率与过程分数:成功率衡量完整完成任务的比例;过程分数按开始操作、形成可测状态、取得有效读数、获得充分数据、结果及证据达标、装置复原六个连续阶段累计,满分 100 分,用于比较任务进展。

评测结果

七个前沿模型分别运行在其开发者提供的 Coding Agent 中,完成同一组实验。在提供相机画面、机器人状态与基础控制接口的标准设置下,由 Agent 自行组织操作、测量与分析,最高成功率为 43.3%。


部分 Agent 的多数运行在取得充分数据之前就已失败;表现较强的三个 Agent 在达到准确结果阶段的比例接近,约为 51.7%—55.0%;是否完成实验台复原,进一步拉开了最终成功率。


六角未来欢迎感兴趣的研究者和团队共同参与评测,一起探索 Agent 怎样走出数字世界,在和物理世界的交互中获得可靠的认知,并将这些认知用于新的问题。


03

从真实应用出发,

让智能在物理世界进化

在已有的评测中找到更好的解题方法,也用新的试卷探索物理智能的更多可能。两项工作共同服务于 Physical Coding 的发展,让模型、Harness 与数据在实践中持续迭代,让工具解决问题的能力逐步沉淀为模型的能力,在提升已有任务表现的同时,逐步拓展 Coding Agent 的能力边界。

应用即评测、评测即数据、数据即智能。六角未来相信,真实世界中尚待解决的复杂问题,会不断为智能的发展带来新的方向。真实需求提出问题,实验检验解决方法,经过验证的经验推动模型进步,更强的模型再回到新的任务中,接受下一轮检验。

六角未来期待,AI 能够自主构建工具、探索解决方案,并在行动中检验和修正对世界的理解。从完成一个实验,到推进一项研究,Physical Coding 将逐步走向更开放的科学研究与工程探索,让每一次经过验证的探索,都成为下一次发现的起点。

References

HexaShell

Paper: https://arxiv.org/abs/2610.23479

Github: https://github.com/HexaFuture/HexaShell

EmbodiedLab

Benchmark: https://hexafuture.ai/benchmarks/embodiedlab

Paper: https://arxiv.org/abs/2610.35385

Github: https://github.com/HexaFuture/EmbodiedLab

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
江苏扬州市江都区发生3.9级地震

江苏扬州市江都区发生3.9级地震

中国地震台网速报
2026-11-11 06:37:04
黄仁勋出轨对象更多照片曝光,并非20岁小女生,或给黄仁勋不一样的体验

黄仁勋出轨对象更多照片曝光,并非20岁小女生,或给黄仁勋不一样的体验

蜜桔娱乐
2026-11-10 10:19:57
轰动NBA!曝勇士或交易格林!这可是四届总冠军功臣

轰动NBA!曝勇士或交易格林!这可是四届总冠军功臣

篮球实战宝典
2026-11-10 17:35:58
国家发展改革委:当前幼儿园、小学、初中学龄人口已达峰

国家发展改革委:当前幼儿园、小学、初中学龄人口已达峰

大象新闻
2026-11-10 11:16:02
钱最多有什么用?黄仁勋承认出轨后妻子现状,给所有夫妻提了个醒

钱最多有什么用?黄仁勋承认出轨后妻子现状,给所有夫妻提了个醒

叨唠
2026-11-10 06:05:16
央媒亲宣!56岁陈建斌正式上任,职务不一般,早已和吴越拉开距离

央媒亲宣!56岁陈建斌正式上任,职务不一般,早已和吴越拉开距离

削桐作琴
2026-11-09 15:29:05
我和李姐搭伙过日子,抱也行亲别处也行,唯独嘴碰不得…

我和李姐搭伙过日子,抱也行亲别处也行,唯独嘴碰不得…

林林总总Z
2026-11-10 03:30:54
4时24分准时起飞,长征十二号成功发射,首位外籍航天员将进天宫

4时24分准时起飞,长征十二号成功发射,首位外籍航天员将进天宫

金戈远望
2026-11-10 18:36:07
鲁山县人大常委会原主任姚莲叶接受纪律审查和监察调查

鲁山县人大常委会原主任姚莲叶接受纪律审查和监察调查

大象新闻
2026-11-10 16:20:02
我有一种预感,69岁的赵本山之所以这个年龄还拍这样题材,不是为了自己,也不是为了赚钱,而是为了儿子!

我有一种预感,69岁的赵本山之所以这个年龄还拍这样题材,不是为了自己,也不是为了赚钱,而是为了儿子!

背包旅行
2026-11-08 17:02:31
来深圳开APEC之前,日方直接提出礼遇要求,中方回应很干脆

来深圳开APEC之前,日方直接提出礼遇要求,中方回应很干脆

史智文道
2026-11-10 14:31:17
儿子高二拿下生物奥赛金牌保送北大 父亲心态很“佛系”:本来觉得上个普通大学就很好

儿子高二拿下生物奥赛金牌保送北大 父亲心态很“佛系”:本来觉得上个普通大学就很好

闪电新闻
2026-11-10 18:23:53
15场0球1助攻,50次射门颗粒无收!安东尼又现原形,曼联卖他真没错

15场0球1助攻,50次射门颗粒无收!安东尼又现原形,曼联卖他真没错

大卫的篮球故事
2026-11-10 11:18:37
山东泰山拿下三项荣誉!唐瑞中甲金童,克雷桑落选最佳阵容,张海涛惜败成耀东,斯托伊科维奇进入选帅视野

山东泰山拿下三项荣誉!唐瑞中甲金童,克雷桑落选最佳阵容,张海涛惜败成耀东,斯托伊科维奇进入选帅视野

老周观体育
2026-11-10 23:17:06
G20再生变数?德国总理:如果普京出席G20峰会,已准备好与他交谈

G20再生变数?德国总理:如果普京出席G20峰会,已准备好与他交谈

云上乌托邦
2026-11-10 17:21:44
美前国务卿约翰·克里:中国在摆脱化石燃料方面正处于世界领先地位,美国必须跟上

美前国务卿约翰·克里:中国在摆脱化石燃料方面正处于世界领先地位,美国必须跟上

环球网资讯
2026-11-10 22:53:11
哈登米切尔撂挑子,阿特金森好像害怕了!骑士离最终答案越来越近

哈登米切尔撂挑子,阿特金森好像害怕了!骑士离最终答案越来越近

老梁体育漫谈
2026-11-10 12:57:19
苹果又一款iPhone 新机来了,这设计有点懵!

苹果又一款iPhone 新机来了,这设计有点懵!

科技堡垒
2026-11-09 08:00:47
周恩来病危手术前嘶声呐喊,坚决宣告:“我不是投降派!”

周恩来病危手术前嘶声呐喊,坚决宣告:“我不是投降派!”

扶苏聊历史
2026-11-10 14:54:01
外媒称60万枚英伟达先进芯片滞留香港待运内地 外交部:输华芯片立场一贯

外媒称60万枚英伟达先进芯片滞留香港待运内地 外交部:输华芯片立场一贯

青科新闻
2026-11-10 09:58:27
2026-11-11 07:51:00
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
7793文章数 20796关注度
往期回顾 全部

科技要闻

黄仁勋承认出轨:伤害了妻儿,毫无借口

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

体育要闻

大连足球这些年的起落,都从他身边经过

娱乐要闻

黄仁勋与黄乐合照曝光,吃饭氛围暧昧

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

家居
时尚
教育
手机
房产

家居要闻

2026建博会(广州) 公装联探展交流活动

蓝色+灰色、绿色+棕色,今年穿4组配色好看又减龄!

教育要闻

中俄教育年独家专访|远东联邦大学副校长详解赴俄留学新趋势

手机要闻

全系都有背屏!荣耀700系列续航不打折扣:7.96mm厚度同档最大电池

房产要闻

突发!陵水杀出重磅宅地!

无障碍浏览 进入关怀版