网易首页 > 网易号 > 正文 申请入驻

AdaRoboVLG:适用于不同机械手的任务自适应视觉语言抓取框架

0
分享至





视频链接:https://mp.weixin.qq.com/s/gS5Bwtf28wPMUYaR2V6dag

AdaRoboVLG:适用于不同机械手的任务自适应视觉语言抓取框架

同样是一只杯子,机器人到底应该抓哪里?

如果任务是把水倒进水槽,握住杯柄通常更合适;如果要把杯子递给别人,机器人最好把杯柄留给对方;如果杯子还在传送带上移动,抓取位置又必须随时间不断更新。周围堆放的杂物、目标遮挡和不同机械手的结构差异,又让一个看似简单的「伸手拿杯子」,变成空间、语义与动态控制交织的问题。

视觉 — 语言抓取(Vision-Language-Grasping,VLG)的目标,正是让机器人根据自然语言和具体情境,做出符合任务意图的抓取。这需要同时处理空间、认知、时序与本体四类挑战:找准目标并避开碰撞,理解物体用途,追踪持续变化的状态,还要适应不同机械手。

当前不少 VLG 方法采用端到端路线,直接将视觉观察和语言指令映射为抓取动作。这类策略的适应能力往往受训练数据与机械手配置限制;面对新的任务情境与本体,通常需要补充数据或重新训练。

来自华中科技大学、北京大学、擎朗智能等机构的研究者提出了AdaRoboVLG。该框架将「任务需要怎样抓」与「机械手如何稳定抓取」解耦,并用统一的抓取接口连接任务理解与物理抓取合成:上层把任务情境转化为抓取约束,下层据此为不同机械手生成稳定姿态。由此,新能力可以接入同一抓取底座,形成一条可扩展的机器人抓取(scalable robotic grasping)的路线。



  • 标题: Adaptive Vision-Language Grasping via Composable Foundation Priors and Generalizable Grasp Synthesis
  • 作者: Sixu Yan, Shikang Wang, Binhua Huang, Xuanlai Tang, Guohua Fan, Fan Huang, Haoxuan Li, Yongkang Li, Yuhan Li, Bencheng Liao, Zeyu Zhang, Wenyu Liu, Hangxin Liu, Xinggang Wang
  • 论文:https://arxiv.org/abs/2609.04096
  • 主页:https://adarobovlg.github.io/
  • 代码:https://github.com/AdaRoboVLG/AdaRoboVLG
  • 仿真:https://github.com/AdaRoboVLG/AdaRoboVLG-Playground

01 把理解与抓取拆开,

让同一底座服务不同机械手

人类之所以能在遮挡、功能需求和目标运动等挑战同时出现时灵活调整抓取,并不是因为经历过每一种可能的情形,而是会调用由常识和过往经验形成的丰富先验,协同完成感知、推理与动作控制。基础模型在视觉识别、空间理解、功能推理和目标跟踪等方面展现出与这些先验相似的能力。受此启发,AdaRoboVLG 将基础模型提供的先验转化为可组合的抓取约束,再交给可跨机械手复用的基础策略,生成符合任务意图且物理可行的抓取姿态。



人类利用常识与经验调整抓取;机器人组合视觉、分割与语言模型先验

抓取约束被定义为一组统一的抓取接口,它由目标物体几何、接触抓取表示(Contact Grasp Representation,CGR)和与机械手兼容的抓取类型组成。CGR 描述接触位置、概率、接近与闭合方向以及抓取宽度;抓取类型来自人类抓取分类,并依据机械手的运动能力进行筛选。



AdaRoboVLG 总体框架:可组合先验通过结构化接口连接基础抓取策略

基础策略先根据 CGR 和抓取类型,为具体机械手生成候选;再由共享模型进行稳定性评分。评分采用的手 — 物交互表示(Hand-Object Interaction Representation,HOI)编码接触点的位置、法向等局部几何信息,为力闭合相关的稳定性预测提供依据。不同机械手按自身结构生成候选,共享模型负责评分;接入新机械手时,只需配置对应的运动学映射和兼容抓取类型。

研究团队在 Isaac Sim 中使用 DH3、Allegro、Inspire 三种机械手,采集了440 万次带标注的抓取试验,用于训练基础抓取策略。



基础策略的仿真数据采集流程

实验一验证了学习效率与跨手预测能力。相比独立编码手与物体,HOI 收敛更快、训练损失更低;三手联合训练的模型在 DH3、Allegro、Inspire 上分别达到 82.95%、88.02%、91.07% 的抓取质量预测准确率。





基础策略实验:训练收敛(左)与跨机械手预测准确率(右)

02 三类先验,分别回答

「能不能抓、该怎么抓、如何跟上」

在基础策略之上,空间、认知和时序先验负责把任务情境转成接口约束。实验二至四先分别检查每种能力,为后面的真实系统组合提供依据。

空间先验:杂物之间,机械手能否伸进去?

一个姿态即使能抓牢目标,也可能与周围物体发生碰撞。空间先验利用多视角彩色与深度(RGB-D)观察,将 DINOv3 提取的图像特征提升到三维,形成场景级语义表示;再结合点云,通过 Contact-GraspNet 预测场景级 CGR,为基础策略提供接触候选。



视频链接:https://mp.weixin.qq.com/s/gS5Bwtf28wPMUYaR2V6dag

空间先验:DH3、Allegro、Inspire 在六个场景中的抓取可视化。

同一场景中的接触候选,可以根据不同机械手的结构映射为不同姿态。空间模块中的 Contact-GraspNet 在 GraspClutter6D 上训练,随后用于以下基准评测。

在 DexGraspNet 2.0 的三种杂乱程度与三种机械手上,AdaRoboVLG 平均成功率为88.4%。它在 Random、Loose 划分上取得表中最佳结果;Dense 划分则仍有对比方法更高。

DexGraspNet 2.0:多指抓取成功率



AnyDexGrasp* 保留原候选生成流程,使用本文的共享抓取判别模型评分。

认知先验:先推断功能,再验证目标抓取

功能性抓取既要理解任务需求,也要定位、分割对应部位,生成物理可行的抓取姿态。论文通过开放集功能推理与语言引导目标抓取两项互补实验,分别检查推理能力与抓取落地能力。

任务 A:开放集功能推理。下面展示 16 个物品的功能推理结果:给定任务指令与输入图像,推理出相应的功能部位与抓取类型。



视频链接:https://mp.weixin.qq.com/s/gS5Bwtf28wPMUYaR2V6dag

开放集功能推理:16 个物品的部位与手型选择

开放集评测包含 125 组图像 — 指令对、57 种操作任务与 80 类物体。基础 LLM 的功能部位、抓取类型准确率分别为 82% 和 63%;加入 RAG 与 CoT 后提升到94% 和 87%。在这组消融实验中,CoT 对功能部位判断的改善更明显,RAG 对抓取类型选择更有帮助。

开放集功能推理消融实验



任务 B:语言引导的目标抓取。在相同认知模块提供的目标定位与分割结果下,比较各方法能否生成成功抓起目标的姿态。



视频链接:https://mp.weixin.qq.com/s/gS5Bwtf28wPMUYaR2V6dag

语言引导的目标抓取:Allegro 四指机械手。

AdaRoboVLG 在 GraspClutter6D 和 GraspNet-1Billion 上的三手平均成功率分别为81.3% 和 86.0%,在表中两组基准、三种机械手上均取得最高成功率。

语言引导目标抓取:两个数据集、三种机械手



各方法使用相同的认知推理模块;AnyDexGrasp* 保留原候选生成流程,使用本文的共享抓取判别模型评分。

时序先验:目标移动后,抓取接口持续更新

静态场景中算出的好姿态,可能在目标移动后迅速失效。时序先验结合 SAM3 的掩码跟踪与 DINOv3 的跨帧特征一致性,估计目标刚体运动,并在线更新目标几何和 CGR。该模块本身不需要额外训练。

在 GraspNet-1Billion 的 Seen、Similar、Novel 划分上,AdaRoboVLG 在多抓取跟踪准确率、平移误差和旋转误差三项指标上均处于领先水平。

动态跟踪:Seen / Similar / Novel





视频链接:https://mp.weixin.qq.com/s/gS5Bwtf28wPMUYaR2V6dag

代表性物体的长时跟踪:三维语义特征在连续图像中的投影

实验结果与长时可视化表明,AdaRoboVLG 在长程抓取跟踪中具有明显优势,能够在目标持续运动时保持稳定关联,并不断更新抓取约束。不过,对称物体仍可能出现旋转漂移,严重遮挡也可能导致跟踪丢失。

03 从静态杂乱到动态干扰:

真机验证组合能力

前面的实验检查了各个环节,真机实验进一步检验它们能否协同工作。实验五从静态杂乱场景出发,先组合空间与认知先验,再加入时序先验处理运动目标;实验六考察新增任务与感知模块后的能力扩展。

找对目标,还要抓对部位(实验五 A)

测试覆盖102 件日常物体,包括食品、家居用品、工具、玩具、电子产品和纺织品。每次试验要求找对目标、满足功能意图、避免碰撞,并将物体抬高 10 cm、保持 5 秒不掉落。系统未进行真实世界微调。

在配备 ROHand 灵巧手的 XMAN-R1 与 TianJi Marvin 平台上,每件物体进行 5 次随机化试验,共510 次真实抓取,总体成功率为83.3%。研究团队还将系统部署到平行夹爪,展示其跨末端执行器的适配能力。



真实杂乱场景中的语言引导功能性抓取



视频链接:https://mp.weixin.qq.com/s/gS5Bwtf28wPMUYaR2V6dag

XMAN-R1 + ROHand:真实杂乱场景中的功能性抓取。



视频链接:https://mp.weixin.qq.com/s/gS5Bwtf28wPMUYaR2V6dag

TianJi Marvin + ROHand:真实杂乱场景中的功能性抓取。

目标动起来后,抓取如何跟上(实验五 B)

移动传送带让「抓哪里」成为一个随时间变化的问题。实验使用配备 ROHand 的 AgileX Piper,选择 16 件代表性物体,在速度为 2–5 cm/s 的传送带上演示功能性抓取。空间与认知先验构建初始抓取约束,时序先验根据目标运动持续更新,抓取姿态的在线更新频率为5 Hz。

下面的六组任务展示了系统如何在目标运动时,保持符合语言意图的抓取方式。



视频链接:https://mp.weixin.qq.com/s/gS5Bwtf28wPMUYaR2V6dag

动态传送带:网球、拖鞋、红色麦克风、绿色玩具车、玫瑰、水壶六组任务同步展示。

随后,团队在同一机械臂上使用平行夹爪,测试人为干扰下动态抓取的鲁棒性。面对移出视野恢复、快速移动、连续遮挡、平移与旋转同时发生四类干扰,系统的总抓取成功率为89.7%。



视频链接:https://mp.weixin.qq.com/s/gS5Bwtf28wPMUYaR2V6dag

四类人为干扰:移出视野恢复、快速移动、持续遮挡、平移与旋转。

接入新模块,扩展任务与感知能力(实验六)

加入任务分配模块后,AdaRoboVLG 能进行双臂分拣;接入深度补全模块后,还能处理透明物体。两种扩展分别改变任务组织与感知输入,均不需要重新训练基础抓取策略。

这两项演示让 scalable 有了具体含义:新能力不必全部写进同一个策略,而可以通过模块接入,由已有抓取底座承接,为扩展任务与感知能力提供了一条可行路径。



视频链接:https://mp.weixin.qq.com/s/gS5Bwtf28wPMUYaR2V6dag

双臂协同分拣

04 不只做大模型,更要让抓取能力可扩展

AdaRoboVLG 的价值不仅在于单项成功率,更在于让任务自适应、策略可复用、本体可适配。结构化接口将任务约束与物理抓取衔接起来,也为后续接入更强的感知与推理模型留下了空间。

从更广义的系统视角看,机器人能力的 Scaling 不只取决于模型规模,更依赖感知、推理、技能与本体之间的协同。AdaRoboVLG 将基础模型先验、可复用抓取技能与不同机械手连接起来,展示了通过能力组合推动机器人能力扩展的思路。

模块化仍有边界。上层若识别错功能部位,底层可能生成稳定却不符合用途的抓取;多视角定位不一致、深度重建噪声和缺少触觉反馈,也会限制可靠性。触觉闭环,以及严重遮挡下的推、拨等预操作,仍是未来方向。

从不同机械手到静态、动态真实场景,AdaRoboVLG 为可扩展机器人抓取提供了一个具体范例。这种将任务理解与物理抓取解耦的设计,有望让基础模型的持续进步更高效地转化为机器人能力,为面向多样任务与本体的机器人系统开辟新的发展空间。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
广东省中山市委书记、市政府党组书记、市长尹念红简介

广东省中山市委书记、市政府党组书记、市长尹念红简介

探秘桂北
2026-11-01 08:21:08
台湾生活水准相当于大陆什么水平?这么说吧,台湾的生活水准,大致介于大陆二线城市和东部沿海发达城市之间

台湾生活水准相当于大陆什么水平?这么说吧,台湾的生活水准,大致介于大陆二线城市和东部沿海发达城市之间

扶苏聊历史
2026-11-02 13:50:13
医学实验图片疑似AI生成?监管部门:正核查是否存在学术不端

医学实验图片疑似AI生成?监管部门:正核查是否存在学术不端

新京报
2026-11-17 22:30:31
清华讲台,翁帆还没开口,衣服先替她说了话!她一出现,目光就被那身打扮勾住了,这样的翁帆,确实让人移不开眼!

清华讲台,翁帆还没开口,衣服先替她说了话!她一出现,目光就被那身打扮勾住了,这样的翁帆,确实让人移不开眼!

财经要参
2026-09-30 19:39:44
盘点网友们分享的亲身经过的奇闻逸事,网友:有些事没法解释清楚

盘点网友们分享的亲身经过的奇闻逸事,网友:有些事没法解释清楚

另子维爱读史
2026-11-18 20:46:42
上海大学出手了!一名研究生被拟退学,校方公布的原因值得引起重视!

上海大学出手了!一名研究生被拟退学,校方公布的原因值得引起重视!

凯旋学长
2026-11-18 22:22:41
1968年,邓朴方身受重伤陷入绝境,北大王凤梧不顾重压救他,在邓公回归后又是怎么回报他的?

1968年,邓朴方身受重伤陷入绝境,北大王凤梧不顾重压救他,在邓公回归后又是怎么回报他的?

唠叨说历史
2026-11-13 14:31:10
美民主党抵制参院商务委员会投票,FCC共和党提名独自推进

美民主党抵制参院商务委员会投票,FCC共和党提名独自推进

时光慢旅人
2026-11-19 00:02:21
网上爆火的山姆包到底多好用?我们替你测了个遍

网上爆火的山姆包到底多好用?我们替你测了个遍

酷玩实验室
2026-11-18 10:49:05
高市早苗要去中国了,日网民叫她千万别做这些事

高市早苗要去中国了,日网民叫她千万别做这些事

这里是东京
2026-11-17 19:18:03
马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

恒星文娱
2026-11-17 23:01:29
国安旧将索里亚诺谈加盟中超:那时我31岁了,要为自己考虑了

国安旧将索里亚诺谈加盟中超:那时我31岁了,要为自己考虑了

懂球帝
2026-11-19 00:19:11
一场2-2验出国足头号庸才,6.1分全队垫底,仅踢半场被邵佳一换下

一场2-2验出国足头号庸才,6.1分全队垫底,仅踢半场被邵佳一换下

小火箭爱体育
2026-11-18 08:38:09
普京抵华前一天,270米克里米亚大桥桥面被炸塌,乌克兰选在普京参加深圳APEC峰会前一天行动

普京抵华前一天,270米克里米亚大桥桥面被炸塌,乌克兰选在普京参加深圳APEC峰会前一天行动

蓝星杂谈
2026-11-18 09:59:46
曾收到5000份男友申请,“全球最抢手女友”在美国被铐走

曾收到5000份男友申请,“全球最抢手女友”在美国被铐走

启迪你的思维
2026-11-18 17:58:04
市场几乎清零!人们为何不再需要,灵活便宜的小型油车了?

市场几乎清零!人们为何不再需要,灵活便宜的小型油车了?

云霄纪史观
2026-11-18 01:57:05
马化腾:腾讯正在面临生死存亡

马化腾:腾讯正在面临生死存亡

科技头版Pro
2026-11-18 14:21:08
假山假景假脸,央视《多喜一家人》爆火,打脸多少流水线年代剧

假山假景假脸,央视《多喜一家人》爆火,打脸多少流水线年代剧

零号情报局
2026-11-17 19:56:24
两桶油急的是:油价他们说了不算,想降价不能降,销售量大幅减少

两桶油急的是:油价他们说了不算,想降价不能降,销售量大幅减少

侃故事的阿庆
2026-11-18 06:41:18
腾讯搬走后,科兴物价彻底崩了,一杯咖啡从25降到15

腾讯搬走后,科兴物价彻底崩了,一杯咖啡从25降到15

流苏晚晴
2026-09-18 14:24:54
2026-11-19 01:08:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

亲子
教育
旅游
房产
数码

亲子要闻

当婴配市场进入存量博弈,有机赛道如何破局突围?

教育要闻

禁毒模拟法庭丨以案释法筑防线,青春无毒护成长

旅游要闻

大理秋冬出游狂欢!超多福利活动和精彩行程,尽在大理旅游便民卡~

房产要闻

周大生出手!海棠湾又一大商业体来了

数码要闻

铭凡5L台式机T5 Max-388上市:48GB + 1TB,到手价9699元

无障碍浏览 进入关怀版