网易首页 > 网易号 > 正文 申请入驻

VLA开环盲区,终于被堵上了:40M Corrector让机器人边做边纠错

0
分享至





视频链接:https://mp.weixin.qq.com/s/rfSPbtc2_fRpggXeBPPC3Q

机器人抓住积木,正准备往碗里放。就在这时,有人突然把碗挪走了。

人会本能地停一下、看一眼,再重新对准;但不少 VLA 机器人不会。它明明还在接收相机画面,手上却继续执行几百毫秒前生成的旧动作,最后把积木放进空气里。

这不是模型「没看见」,而是它在这段时间里,根本没被允许重新思考。

浙江大学 ACES 实验室 OmniAI 团队与阿里巴巴达摩院的最新工作VLA-Corrector,盯住了这个长期被 action chunk 掩盖的问题:VLA 一次预测一串动作确实高效,但从开始执行到下一次推理之间,也出现了一块危险的开环盲区

  • 论文:VLA-Corrector: Lightweight Detect-and-Correct Inference for Adaptive Action Horizon
  • 作者:Yi Pan, Miao Pan, Qi Lu, Jiaming Huang, Man Zhang, Siteng Huang, Xin Li, Jie Zhang, Yongliang Shen, Xuhong Zhang, Wenqi Zhang
  • 单位:Zhejiang University;Alibaba DAMO Academy
  • 论文链接:https://arxiv.org/abs/2607.01804
  • 项目主页:https://zju-omniai.github.io/vla-corrector/
  • 代码:https://github.com/ZJU-OmniAI/vla-corrector

他们给出的答案很直接:不必逼大模型每一步都重算,也别让机器人闭着眼把整段动作做完。给 VLA 加一个约 40M 参数的轻量级 Corrector,让它知道什么时候该继续,什么时候必须停手纠错。



长 action horizon 与严格闭环执行的对比

VLA 明明一直睁着眼,为什么还像没看见?

现在主流的生成式 VLA,常用 action chunk 来摊薄推理成本:模型看一次画面,一口气生成未来一段动作;机器人再从中连续执行前 H 步。H 越大,调用模型的次数越少,动作也更连贯。

代价同样明显。抓取时打滑、插入时偏了两毫米,或者目标被人移动,后面的动作就已经「过期」了。但只要 horizon 还没结束,机器人仍会照着旧计划往下做。小偏差很快滚成大错误,等下一次推理终于到来,状态可能已经偏到救不回来了。

把 H 设成 1,当然可以步步闭环,却等于每个控制步都调用一次 VLA。论文的 horizon sweep 也把这笔账算得很清楚:以 π0.5 为例,拉长 horizon 能把 policy call 降低约 4 倍,但成功率会从约 64% 掉到 49% 以下。

所以,问题并不是再猜一个「最佳 H」。真正该问的是:当前这段动作,什么时候已经不值得信了?

不要一直重规划,

只在动作失效的那一刻接管

VLA-Corrector 没有改动 VLA 主干权重,而是在推理链路外加了一条「监测—打断—纠正」的旁路。

第一步是监测。Latent-space Vision Monitor(LVM)学习一个很局部的问题:执行这个动作后,视觉特征接下来应该往哪个方向变化?在线运行时,它不断比较「预期变化」和相机里「真实发生的变化」。模型不是直接预测像素,而是在信息密度高的 latent space 中预测视觉动态残差。这样有助于减少静态背景,光照的干扰,让模型优先关注对执行任务而言重要的动态部分,降低学习难度的同时还能让预测更加准确。

第二步是打断。如果这种偏差持续出现,而非单帧抖动,系统立刻清空队列中尚未执行的 stale actions。动态阈值、迟滞机制和连续步检查,保证它不会一有风吹草动就停机。

第三步才是纠正。简单地再问一次 VLA,可能只会得到另一段同样出不去的动作。为此,Online Gradient Guidance(OGG)会把刚才检测到的视觉偏差变成梯度信号,只引导中断后的那一次恢复推理,把新动作往更可恢复的方向推。



VLA-Corrector:监测、打断与纠正

这套机制最终得到的不是另一个固定 horizon,而是事件触发的自适应 horizon:搬运平稳时,大步往前走;到了抓取、对齐、插入这些容易出错的阶段,随时准备切回短视野纠错。实验中,83.7% 的截断恰好发生在这些关键阶段。

换句话说,它不是在开环和闭环之间二选一,而是把闭环反馈用在了最值钱的时刻。

成功率涨了,调用次数反而还能降

在 MetaWorld 上,给 π0.5 加入 VLA-Corrector 后,平均成功率从48.70% 提升到 64.35%;在 Very Hard 任务上,提升达到24 个百分点

更有意思的是,它并不是靠疯狂增加推理次数换来的。SmolVLA 在 horizon 10 下,成功率从61.90% 提升到 73.00%,平均 policy call 却从19.27 次降到 15.64 次。原因不难理解:及时扔掉过期动作,远比在失败轨迹上继续浪费整段 chunk 划算。

真实 AgileX PiPER 机械臂上的结果更直观。九项任务的平均成功率从55.6% 提升到 73.3%;在人为移动物体或目标的扰动恢复任务中,成功率从40.0% 跃升到 68.3%。而在 LIBERO 上,加入 Corrector 的 few-shot 模型达到97.8%,还超过了 fully fine-tuned baseline 的 96.95%。



VLA-Corrector 的真实机械臂结果

这项工作真正值得带走的 insight

过去我们常把 VLA 的可靠性理解成「第一次就预测出完美动作」。但机器人进入物理世界后,动作会反过来改变环境,计划也会随时过期。一个永远不犯错的长动作块并不现实,真正重要的是:系统能不能尽早知道自己已经走偏,并保留打断自己的权力。

VLA-Corrector 给出了一种很有启发的系统分工:大模型负责提出计划,小模型负责审计计划,执行层拥有随时叫停的权力。这可能比一味堆大 backbone 更接近具身智能的可靠落地。

它当然不是万能恢复器。OGG 仍受基础策略能力上限约束。但VLA-Corrector真正的核心在于它能有效抑制错误在开环盲区中被放大,大幅降低VLA policy从错误中恢复的难度。它改变了问题的解法:不再要求 VLA 时时严格闭环,而是让系统在该闭环的瞬间,真的闭上这个环。

一句话概括:机器人未必需要永远不出错,但它必须学会不把错误继续做完。

作者介绍

本工作由浙江大学 OmniAI 团队与阿里巴巴达摩院联合完成,第一作者是浙大准研一的硕士研究生潘翼,研究聚焦 action-chunked VLA 的开环盲区与真实机器人纠错,通讯作者为浙大百人计划研究员张文祺。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
云南5-0大胜铁人,克莱伯戴帽,奥斯卡两传一射,布尼亚明传射

云南5-0大胜铁人,克莱伯戴帽,奥斯卡两传一射,布尼亚明传射

懂球帝
2026-09-06 21:41:12
与博彩平台达成合作!詹姆斯14秒短片引争议 大量球迷抗议要求删帖

与博彩平台达成合作!詹姆斯14秒短片引争议 大量球迷抗议要求删帖

罗说NBA
2026-09-05 22:04:26
男孩真正开窍的黄金年龄,大多集中在这3个阶段,家长别急着放弃

男孩真正开窍的黄金年龄,大多集中在这3个阶段,家长别急着放弃

户外阿毽
2026-09-05 07:36:49
73岁法国第一夫人访英穿白裙,罕见梳发尾,绝绝子震惊了

73岁法国第一夫人访英穿白裙,罕见梳发尾,绝绝子震惊了

小怪吃美食
2026-09-06 11:49:09
张衡的“地动仪”,为什么从课本中删除了?

张衡的“地动仪”,为什么从课本中删除了?

长风文史
2026-09-03 22:01:58
正式确定!CBA顶级外援完成转会,加盟新疆男篮

正式确定!CBA顶级外援完成转会,加盟新疆男篮

体坛瞎白话
2026-09-06 17:12:32
当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

鹤羽说个事
2026-09-02 16:51:59
捡漏天花板!跳蚤市场1英镑淘到小石狗,居然是600年前明初玉兽,最高估价1万镑!

捡漏天花板!跳蚤市场1英镑淘到小石狗,居然是600年前明初玉兽,最高估价1万镑!

意大利华人网0039
2026-09-05 15:51:59
美国“生锈航母”,在泰国紧急清洗锈迹藻类,专家:中国海军急需这种锈蚀,这代表实战经验

美国“生锈航母”,在泰国紧急清洗锈迹藻类,专家:中国海军急需这种锈蚀,这代表实战经验

蓝星杂谈
2026-09-05 14:35:38
王晶赌上全部!刘德华甄子丹古天乐首度同框,这部港片能救市吗?

王晶赌上全部!刘德华甄子丹古天乐首度同框,这部港片能救市吗?

手工制作阿歼
2026-09-06 02:17:46
7个绍兴“葫芦娃”被摘的真实原因!网友:真正希望摘掉葫芦的,是居住在老爷子周边以及河对岸的普通邻居,大多是独居老人

7个绍兴“葫芦娃”被摘的真实原因!网友:真正希望摘掉葫芦的,是居住在老爷子周边以及河对岸的普通邻居,大多是独居老人

火山詩话
2026-09-06 14:47:28
民进党,极有可能在下一届台湾地区选举后,成为长期一家独大政党

民进党,极有可能在下一届台湾地区选举后,成为长期一家独大政党

趣文说娱
2026-09-06 14:26:45
同样是带鱼,“黑眼”和“黄眼”的区别很大!知道后别再乱买

同样是带鱼,“黑眼”和“黄眼”的区别很大!知道后别再乱买

阿龙美食记
2026-09-05 08:56:03
为什么烟草、铁路、邮政,不归国资委管?

为什么烟草、铁路、邮政,不归国资委管?

画生笔记
2026-09-06 12:19:58
重庆54岁大叔的恒大血泪史:信了世界500强买养老房,到现在还在收拾烂摊子!

重庆54岁大叔的恒大血泪史:信了世界500强买养老房,到现在还在收拾烂摊子!

网易新闻出品
2026-09-03 10:14:30
寡姐为艺术全裸献身,这部影片太生猛了

寡姐为艺术全裸献身,这部影片太生猛了

来看美剧
2026-09-06 22:47:59
性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

心理观察局
2026-08-05 06:46:04
终于理解为何很多放弃买iPhone16Pro的老用户,却选择了17标准版

终于理解为何很多放弃买iPhone16Pro的老用户,却选择了17标准版

小柱解说游戏
2026-09-07 00:50:25
巴铁谎言被戳穿?印度机密文件曝光,当年被击落的阵风,另有隐情

巴铁谎言被戳穿?印度机密文件曝光,当年被击落的阵风,另有隐情

陈腕特色体育解说
2026-09-05 22:28:42
为制衡美国对台军售,中方拟向伊朗出售战机,国防部发言人已在例行记者会上证实相关消息,伊朗或成破局关键

为制衡美国对台军售,中方拟向伊朗出售战机,国防部发言人已在例行记者会上证实相关消息,伊朗或成破局关键

人生录
2026-09-06 21:35:05
2026-09-07 01:24:51
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13933文章数 142729关注度
往期回顾 全部

科技要闻

DeepSeek被曝将采购16万颗华为昇腾950DT

头条要闻

中尼两国遇难失联人数为何相差如此大 专家解读

头条要闻

中尼两国遇难失联人数为何相差如此大 专家解读

体育要闻

3.9秒绝平!杨舒予18+5成女篮救世主

娱乐要闻

杨紫获白玉兰影后!爸爸:累了就回家

财经要闻

亏损高达200亿,昔日彩电霸主走下巅峰!

汽车要闻

带升降立标MPV 岚图梦想家9预售价42.99万起

态度原创

游戏
健康
房产
本地
亲子

一台PS5的结局:败给家人拔电源 暑假工心血付诸东流

脑梗取栓成功≠活下来,还有这三关

房产要闻

突发重磅!海口出台楼市新政!

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

亲子要闻

刚出生的宝宝有多小,网友:一个比一个可爱,太悦目了

无障碍浏览 进入关怀版