机器人“看花眼”怎么办？StableVLA破解机器人视觉干扰难题

如果给机器人戴上一副沾满油污的眼镜，它还能正常工作吗？

对于人类来说，这似乎不是一个困难的问题。当镜头有些模糊、光线变暗，或者桌面出现反光时，我们依然能认出杯子、篮球和玩偶的位置。

但对于今天最先进的机器人AI模型而言，答案并没有那么乐观。

星尘智能与北京大学、清华大学等最新联合研究发现，即便是当前最先进的Vision-Language-Action（VLA，视觉-语言-动作）模型，一旦遭遇训练过程中从未见过的视觉干扰，其性能往往会大幅下降。而更令人意外的是——问题可能并不出在机器人的“大脑”。

近年来，VLA模型逐渐成为具身智能领域最重要的技术路线之一。简单来说，这类模型的工作方式类似于：看见（Vision）→ 理解（Language）→ 行动（Action）。机器人通过摄像头观察环境，通过大模型理解任务，再输出具体动作。然而现实世界远比训练数据复杂。

真实世界中，机器人可能遇到：摄像头模糊、镜头油污、光照变化、反光、遮挡、数字噪声等，且理论上，没有任何训练集能够覆盖所有可能情况。

机器人真正的考场，不是在实验室，而是在充满干扰的现实世界。研究团队提出了一个关键问题：当机器人遭遇从未见过的视觉干扰时，究竟是哪里出了问题？

论文重要发现：脆弱的不是模型，而是中间“翻译官”

通过系统分析多个SOTA（State-of-the-Art）VLA模型后，研究人员发现：视觉编码器（Vision Encoder）并非主要问题。大语言模型（LLM）也并非主要问题。真正的薄弱环节，是连接两者之间的一个模块：Projector（投影器）。

如果把机器人系统比作一个跨国团队：Vision Encoder负责说“图像语言”，LLM负责说“语言模型语言”，Projector则是中间的翻译官

问题在于：当前主流Projector大多采用MLP结构。而这种结构几乎像一个“全通滤波器”。它不会区分：哪些是目标物体信息，还是哪些只是镜头污渍、反光或噪声，于是所有信息都会被一股脑送入决策系统。

研究团队认为：这正是VLA模型在真实环境下鲁棒性不足的重要根源。

基于信息论的解决方案：给机器人加“智能降噪器”

为了解决这一问题，研究团队提出：Information Bottleneck Adapter（IB-Adapter），即“信息瓶颈适配器”。它的核心思想来自信息论中的经典理论：信息不是越多越好。关键是保留最有价值的信息。

IB-Adapter和StableVLA架构：通过“关联分析+智能门控+特征重构”三重机制，在视觉信息进入决策系统前分析不同特征之间的关联，区分真实信息和噪声；借助Sigmoid门控，给每个特征通道安装独立开关，保留重要信息，给噪声降权甚至屏蔽；最后对视觉特征进行非线性变换后重建，增强信息表达力

在传统VLA中：摄像头捕获的所有内容都会被送往后续网络。而IB-Adapter会先进行一次筛选：保留物体轮廓、空间结构、操作相关的有用特征。同时压制：噪点、模糊、反光、随机干扰等用不上的噪声。

换句话说，它相当于给机器人增加了一层“视觉降噪系统”。在机器人做决策之前，先过滤掉可能误导它的信息。

为什么它能识别噪声？效果如何？

有趣的技术洞察是：传统视觉模型通常关注：图像的空间位置（Spatial Attention）。即：“哪里重要？”。而IB-Adapter关注的是：特征通道（Channel Dimension）

即：“哪些特征重要？”。

研究团队发现：不同通道中存储的信息并不相同。有些通道主要记录跟任务语义强相关的：物体边缘、几何结构、形状特征。另一些通道则：噪声、模糊、随机扰动，相关性更弱。

因此IB-Adapter可以为每个通道设置独立门控（Sigmoid Gate）：重要通道保持开启、噪声通道自动关闭，最终让机器人看到一个更加“干净”的世界

在一些需要长时间序列保持空间精度的长程任务中，只靠 IB Adapter 可能会让动作轨迹变得不够精准。StableVLA 给出了务实解法：双路并行，解耦融合。

比如对需要极高空间精度的拾取和放置任务，系统会近乎完整保留 MLP 通路，IB Adapter 仅作为鲁棒性残差补充进来。对于需要长期语义规划的目标识别类任务，系统则会适度增加 Dropout，迫使策略网络更依赖鲁棒特征路径。这种特定任务驱动的动态平衡，让 StableVLA 在不同操作场景中始终能找到最好的鲁棒性切面。

SOTA对比效果

效果有多明显？答案是：远超预期。在不增加额外训练数据、不引入额外数据增强、不重新构建训练流程的情况下，IB-Adapter平均带来约30%的性能提升。

在LIBERO的四个标准任务套件上，StableVLA 在多数子任务中取得了最优或次优成功率。对比与自身结构类似的 VLA-Adapter，在严重腐蚀程度 5 的设置下，StableVLA 的性能提升幅度从 40.2% 一路飙升到 139.6%。而在CALVIN基准上的平均完成任务数，也全面领先。不是小数点后几位的胶着战，而是直接甩开了断层式的差距。

LIBERO和CALVIN基准对比

更重要的是：整个模块新增参数不足1000万。对于动辄数十亿参数的大模型而言，几乎可以忽略不计。

在损毁严重性最高的Level-5压力测试下，StableVLA保持稳健，OpenVLA等基线模型性能则显著下降。

5亿参数模型，挑战70亿参数模型

论文中最引人注目的结果之一是：搭载IB-Adapter的StableVLA，即便仅使用：0.5B（5亿）参数模型，仍然能够达到接近：7B（70亿）参数级VLA模型的鲁棒性表现。两者规模相差14倍。

这意味着：过去行业解决鲁棒性问题的方法往往是：模型不够强？那就做得更大。

而这项工作给出了另一种答案：与其让机器人更聪明，不如先让机器人少被噪声欺骗。

在真实机器人上验证

为了验证方法是否真正有效，研究团队在 Astribot S1 平台上进行了真实世界测试。

测试任务包括：抓取与放置（Pick & Place）、迷你投篮（Throw Basketball）、倒水（Pour Water）、玩偶装箱（Pack the Doll）等。同时人为制造：图像噪声、模糊、镜头油污、物体遮挡。

结果显示：在严重视觉干扰下，StableVLA依然能够保持较高操作成功率，而多个现有方案则出现明显退化。

StableVLA 鲁棒性概述：(a) 在 LIBERO 基准测试中的鲁棒性比较中，三角形标记和柱状图分别表示在干净数据和损坏数据（不同严重程度的平均值）上的性能。StableVLA 实现了目前最先进的SOTA零样本鲁棒性。(b) 在视觉损坏的情况下，打包玩具任务上的实际机器人部署，StableVLA (0.5B参数) 达到了 50% 的成功率，优于同参数的 VLA-Adapter (0.5B, 20%) 、参数远高于其的OpenPI 0.5 (3B, 40%)

从学术角度看，这是一项关于VLA鲁棒性的研究。但从产业角度看，它回答的是一个更现实的问题：机器人如何离开实验室，进入真实世界。

现实中的工厂、商场、家庭和餐厅，永远不会拥有完美的光照、干净的镜头、标准化的场景。未来机器人能否大规模部署，很大程度上取决于：当环境开始变脏、变乱、变复杂时，它是否依然能够完成任务。

而这项工作给出的答案是：机器人未必需要更大的模型，但一定需要更稳定的视觉理解能力。这或许也是具身智能从“能工作”迈向“可靠工作”的关键一步。