网易首页 > 网易号 > 正文 申请入驻

登顶 RoboCasa,建立新基准:拓展 Physical Coding 的能力边界

0
分享至


在 RoboCasa365 官方榜单上,HexaShell 以 85.6% 的总体成功率登顶第一。

编辑丨李希

Physical Coding 用代码连接数字世界与物理世界:模型提供理解、推理与编程能力,Harness 组织工具、执行行动并返回反馈,任务与环境检验 Agent 能否真正解决问题,并为进一步改进积累经验与数据。

沿着这一思路,六角未来对此前构建的 HexaShell-Preview 进行了改进,让前沿模型的理解与推理能力能够更可靠地转化为行动。改进后的 HexaShell 在 RoboCasa365 官方榜单中登顶第一,领先第二名21.2 个百分点。

同时,为推动模型本身的进步,六角未来与清华大学、北京大学和新加坡国立大学联合发布了 EmbodiedLab,一个为求知而行动的科学实验评测基准:在可交互、可验证的实验环境中,检验 Agent 自主探索、获取证据和完成任务的能力,并积累经过验证的任务轨迹,为模型训练提供有效数据。


01

HexaShell:登顶 RoboCasa

▎RoboCasa 官方榜单第一,领先 21.2 个百分点

在 RoboCasa365 官方榜单上,HexaShell 以 85.6% 的总体成功率登顶第一,领先第二名超过 20 个百分点——而此前其他方案的成绩还在及格线附近徘徊。


RoboCasa365 是斯坦福、UT Austin 等机构发起的 RoboCasa 仿真平台,是当前全球具身操作领域的主流评测基准之一,其官方榜单云集 π0、英伟达 GR00T、Meta ProWAM 等全球头部具身模型,是行业公认的“硬考场”之一。RoboCasa365 以仿真厨房为场景,任务覆盖食材处理、器具操作、多步骤烹饪等。Agent 需要观察场景、组织动作,并根据执行反馈持续推进。相较于单个动作的完成,把多个操作可靠地衔接成完整的任务流程,对模型的理解、规划与工具使用能力提出了更高要求。

除 RoboCasa 外,HexaShell 在 LIBERO-PRO、RoboTwin、RoboDojo(正在提交官方评测) 等基准上也超过了当前 SOTA 水平。这些基准在任务流程、场景变化和操作要求上各有侧重,也从不同角度检验了HexaShell 的泛化性。


▎通用 Harness:任务逻辑与硬件实现解耦

HexaShell 采用分层架构,把与具体机器人无关的通用能力,和与具体机器人相关的执行细节解耦。通用能力只需实现一次,便可在所有环境中复用。环境差异则统一收敛到最底层的轻量适配层。

  • 统一的机器人接口:模型在任务空间中表达意图,给出末端应到达的位置与朝向,而不直接操作关节空间,也不依赖具体的控制方式。感知、测量与运动接口在所有环境中保持一致。

  • 轻量的适配层:每个环境仅需实现一层适配,把接口请求映射为该环境原生的控制指令,并读取相机与本体状态。同构的机械臂共享同一运动规划模块,真机也能直接接入其自带的运动服务。

  • 不依赖特权信息:Agent 只使用真实机器人同样能获得的观测,包括相机图像、相机标定、本体状态和任务指令,而不访问仿真器内部的任何状态。这为能力从仿真迁移到真机提供了基础。

在具体实现上,约 9,300 行核心代码在所有环境间共享,每个环境的专用适配仅 350–1,450 行。依托这套架构,HexaShell 已在 Isaac Sim、MuJoCo、SAPIEN 三种仿真器中运行,覆盖 ARX X5 与 Franka Panda 两类机械臂,并已接入真机。

前沿模型为 Agent 带来了理解目标、制定计划和分析反馈的能力,HexaShell 让这些能力在现有的评测基准中得到了充分发挥。 要让模型能力继续向前,则需要让它面对更开放的任务和环境,在与真实世界的交互中探索方法、验证结果,为后续训练产生有效数据,拓展能力边界。因此,六角未来团队尝试把更多探索性的任务交给 Agent,检验其主动求知的能力。


02

EmbodiedLab:

为求知而行动的评测新基准

人类是在行动中认识世界的。科学就是一门为求知而行动的学科:提出假设、设计实验、取得证据,再根据证据修正认知。当 Agent 开始承担更开放的任务,同样需要检验它能否通过行动探索未知、形成判断。

▎Act to Know:让 Agent 为求知而行动

EmbodiedLab 希望检验 Agent 能否自主提出方法、获取证据、探索未知,但现有评测仍缺少对这一完整过程的覆盖:一类侧重Act to Change,考查 Agent 能否通过操作达成指定状态;另一类侧重科学探索,却常通过文本动作、数值查询或仪器调用直接返回结果,简化了信息获取所需的物理操作与测量。

在真实任务中,行动决定了能观察到什么,观察又影响下一步行动。EmbodiedLab 将实际操作与自主探索融入同一任务:Agent 仅获得实验目标、可用器材和操作规则,自主决定如何完成实验。

Act to Know关注 Agent 能否判断自己需要弄清什么,并通过行动找到答案。科学实验为此提供了可量化的评测载体:即使原理已知,装置参数仍需测量。Agent 需要自主选择方法、操作装置、读取数据,在“行动—观察—判断—再行动”的循环中逐步查明未知,并以实验结果检验探索的有效性。


▎实验设置与前沿模型的成绩

实验设置

EmbodiedLab 在仿真实验室中设置了30 项定量实验、14 个装置平台,覆盖力学、电学、光学、热学与化学 5 个学科领域,检验 Agent 在精细操作、长流程任务、精准读数、多点数据采集与分析等 4 个能力维度上的表现。同时,EmbodiedLab 还设计了隐藏任务评测,观察 Agent 面对未公开的新任务时,能否继续自主选择方法、取得证据并完成目标。

成功标准

成功 = 结果准确 + 证据有效 + 装置复原。

  • 结果准确:误差在仪器的容差范围内;对于预测或配置类任务,结果提交后装置还会继续运行,检验预测是否准确、配置是否达到目标。

  • 证据有效:引用的数据来自本次运行,且测量条件成立,例如托盘静止、温度稳定。

  • 装置复原:满足任务规定的结束状态,包括关闭设备、断开电源、将部件归位等要求。

评测同时记录成功率与过程分数:成功率衡量完整完成任务的比例;过程分数按开始操作、形成可测状态、取得有效读数、获得充分数据、结果及证据达标、装置复原六个连续阶段累计,满分 100 分,用于比较任务进展。

评测结果

七个前沿模型分别运行在其开发者提供的 Coding Agent 中,完成同一组实验。在提供相机画面、机器人状态与基础控制接口的标准设置下,由 Agent 自行组织操作、测量与分析,最高成功率为 43.3%。


部分 Agent 的多数运行在取得充分数据之前就已失败;表现较强的三个 Agent 在达到准确结果阶段的比例接近,约为 51.7%—55.0%;是否完成实验台复原,进一步拉开了最终成功率。


六角未来欢迎感兴趣的研究者和团队共同参与评测,一起探索 Agent 怎样走出数字世界,在和物理世界的交互中获得可靠的认知,并将这些认知用于新的问题。


03

从真实应用出发,

让智能在物理世界进化

在已有的评测中找到更好的解题方法,也用新的试卷探索物理智能的更多可能。两项工作共同服务于 Physical Coding 的发展,让模型、Harness 与数据在实践中持续迭代,让工具解决问题的能力逐步沉淀为模型的能力,在提升已有任务表现的同时,逐步拓展 Coding Agent 的能力边界。

应用即评测、评测即数据、数据即智能。六角未来相信,真实世界中尚待解决的复杂问题,会不断为智能的发展带来新的方向。真实需求提出问题,实验检验解决方法,经过验证的经验推动模型进步,更强的模型再回到新的任务中,接受下一轮检验。

六角未来期待,AI 能够自主构建工具、探索解决方案,并在行动中检验和修正对世界的理解。从完成一个实验,到推进一项研究,Physical Coding 将逐步走向更开放的科学研究与工程探索,让每一次经过验证的探索,都成为下一次发现的起点。

References

HexaShell

Paper: https://arxiv.org/abs/2610.23479

Github: https://github.com/HexaFuture/HexaShell

EmbodiedLab

Benchmark: https://hexafuture.ai/benchmarks/embodiedlab

Paper: https://arxiv.org/abs/2610.35385

Github: https://github.com/HexaFuture/EmbodiedLab

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
人民日报:养老金不是大锅饭,并非亏欠了谁

人民日报:养老金不是大锅饭,并非亏欠了谁

小鹿姐姐情感说
2026-11-06 03:50:08
全网抵制!拿没教养当个性的她,终于惹了众怒!难怪连周笔畅马天宇都嫌弃

全网抵制!拿没教养当个性的她,终于惹了众怒!难怪连周笔畅马天宇都嫌弃

娱乐圈十三太保
2026-10-30 22:10:51
坐拥千亿万博CBD,广州番禺房价为何从6万5狂跌回2万1?

坐拥千亿万博CBD,广州番禺房价为何从6万5狂跌回2万1?

Decade视角
2026-11-10 19:10:04
央视《谷雨》:49岁左小青一出场力压李小冉,才知啥叫风情万种

央视《谷雨》:49岁左小青一出场力压李小冉,才知啥叫风情万种

娱说瑜悦
2026-11-10 19:22:21
外资撤离印度越南?美媒大胆预言:中国的西部,将成新世界工厂

外资撤离印度越南?美媒大胆预言:中国的西部,将成新世界工厂

古史青云啊
2026-11-10 14:29:55
关于黄仁勋出轨这事,网友们发现了这些细节

关于黄仁勋出轨这事,网友们发现了这些细节

清晖有墨
2026-11-09 12:13:28
为什么广东各地长途大巴又开始兴旺了?因为再也不用坐水鱼号了

为什么广东各地长途大巴又开始兴旺了?因为再也不用坐水鱼号了

寥落如辰星
2026-11-09 21:33:42
金鸡奖揭晓:高叶,最佳女主角;梁家辉,最佳男主角

金鸡奖揭晓:高叶,最佳女主角;梁家辉,最佳男主角

南方都市报
2026-11-10 21:51:31
拜登披露回忆录部分内容:特朗普当选后态度曾异常热情,惊得我一时语塞

拜登披露回忆录部分内容:特朗普当选后态度曾异常热情,惊得我一时语塞

环球网资讯
2026-11-10 22:42:38
北京传媒公司CEO郝泊言去世!年仅39岁,知名歌手何静悼念,郭晓晓、朱晏也发文悼念

北京传媒公司CEO郝泊言去世!年仅39岁,知名歌手何静悼念,郭晓晓、朱晏也发文悼念

裕丰娱间说
2026-11-10 09:08:00
3种蔬菜已被列入“致癌名单”,吃多了会致癌?这些才真的要少吃

3种蔬菜已被列入“致癌名单”,吃多了会致癌?这些才真的要少吃

39药品通
2026-11-10 17:00:27
围剿马斯克黄仁勋,美国“蓝色浪潮”启动了“追杀令”| 京酿馆

围剿马斯克黄仁勋,美国“蓝色浪潮”启动了“追杀令”| 京酿馆

新京报评论
2026-11-10 11:06:37
一月连放六个大招,WorkBuddy不给同行留活路

一月连放六个大招,WorkBuddy不给同行留活路

侃故事的阿庆
2026-11-09 15:22:25
为什么从纪录片里看到,从缅甸救回来的受害者几乎全是男性?因为被骗进园区的女孩逃脱率基本为零

为什么从纪录片里看到,从缅甸救回来的受害者几乎全是男性?因为被骗进园区的女孩逃脱率基本为零

扶苏聊历史
2026-10-23 10:04:33
宠物狗被撞死亡,狗主人先称“不要赔偿要让狗活”,后索赔6000元,车辆保险公司拒赔,法院:狗无证且没牵绳,保险公司赔偿财产损失100元

宠物狗被撞死亡,狗主人先称“不要赔偿要让狗活”,后索赔6000元,车辆保险公司拒赔,法院:狗无证且没牵绳,保险公司赔偿财产损失100元

台州交通广播
2026-11-11 00:03:10
英国如今恐怕急得夜不能寐:中方在联合国公开带头追索107万亿美元,仅英国就背负着24万亿殖民掠夺旧账,面对这笔账,西方集体选择了沉默

英国如今恐怕急得夜不能寐:中方在联合国公开带头追索107万亿美元,仅英国就背负着24万亿殖民掠夺旧账,面对这笔账,西方集体选择了沉默

人生录
2026-10-25 00:10:08
演都不演?高叶获金鸡影后不到3小时,荒唐事发生,还不止一件

演都不演?高叶获金鸡影后不到3小时,荒唐事发生,还不止一件

呀古铜
2026-11-11 00:19:59
地下捐精有多乱!女的被约到宾馆,捐精者:直接怀孕只收800元

地下捐精有多乱!女的被约到宾馆,捐精者:直接怀孕只收800元

芊芊子吟
2026-11-10 07:05:06
深圳楼市爆了!

深圳楼市爆了!

地产观点
2026-11-08 13:03:59
丰臻:成都蓉城最后谨慎乱套,拒夺冠纪录片拍摄,取消副总姚夏的车牌

丰臻:成都蓉城最后谨慎乱套,拒夺冠纪录片拍摄,取消副总姚夏的车牌

懂球帝
2026-11-09 22:44:45
2026-11-11 07:55:00
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
7793文章数 20796关注度
往期回顾 全部

科技要闻

平头哥拟独立IPO,分拆后仍是阿里子公司

头条要闻

妈妈突然收到"女儿"短信催缴培训费4.98万 转账后慌了

头条要闻

妈妈突然收到"女儿"短信催缴培训费4.98万 转账后慌了

体育要闻

金球先生无缘世界最佳阵容,为什么?

娱乐要闻

W盛典:章子怡缺席,谷爱凌无缘主桌

财经要闻

黄奇帆之子黄然非,魏桥集团商业往事

汽车要闻

雨中的埃安Ray7,有点上头

态度原创

时尚
数码
家居
亲子
军事航空

专栏|在电子游戏里,她找到了自己的玩法

数码要闻

苹果为H2芯片AirPods推送9B47固件 更新内容尚未披露

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

我很想知道你们是怎么安排的

军事要闻

特朗普:伊朗战事已“事实上结束 ”

无障碍浏览 进入关怀版