抓取失败后，机器人自己改代码：78%成功率逼近专用策略

苏黎世一张安静的实验台上，一台双臂机器人伸手去抓红色积木，没抓到。它没有等人来修，而是把一段简短的错误日志传了出去，随后生成了一段新的 Python 风格代码，把错误改掉了。整个过程里，没有人碰键盘。

这台机器人跑的是 HexaShell。它被描述为一个"薄壳"（thin harness），作用是把视觉语言模型（VLM）逼成一个面向真实操作的全栈编程代理。项目首席分析师的说法是："第一次抓取失败后，机器人自己写出了修复方案。"

HexaShell 的做法是砍掉此前各类"壳"论文加上的所有便利层：不预计算深度图，不接外部规划器，不给整理好的动作词表。VLM 拿到的是原始 RGB 图像，它要写出可执行的机器人代码，读机器人自己的日志，然后迭代。整个流程读起来就像一套被剥到最简的软件开发循环——编译、运行、调试，只不过跑在金属肢体上。

这个实验出现的时点也值得注意：基于 VLM 的代理已经在经典操作基准上追平甚至超过学习型策略。研究者开始盯下一个前沿——不靠重量级中间件，把"文本代码"到"物理运动"的闭环合上。HexaShell 提供的是一把量尺。

一次抓取失败，十秒内自我修复

设想一个任务：机器人要把蓝色圆柱从杂乱的托盘移到一条窄槽里。实验室的相机组把三路标定过的 RGB 视图送进 VLM。VLM 产出一段脚本，发给 HexaShell 的接口：先移动到托盘附近，抓取，抬升，再移动到槽位上方，释放。

HexaShell 解析每一个原语，翻译成关节轨迹并执行。夹爪合上了，圆柱却滑了出去——VLM 从 RGB 画面里把物体的深度估错了。机器人随即输出一份日志，里面有当时的关节角度、抓取瞬间的图像，以及一个错误码：抓取失败。

VLM 读日志，跑了一小段内部推理："抓取失败 → 很可能是深度低估 → 抬高接近高度"，然后回了一段修正后的脚本：接近高度上调 4 厘米，其余动作不变。HexaShell 执行新代码，第二次尝试成功。整个交互在十秒内结束。

这套自我调试对应的是人类程序员"编辑—编译—运行"的循环，区别在于这里的"编译器"是一台物理机器人。案例暴露出 HexaShell 强加给任何 VLM 的三条约束：只用 RGB 数据做三维推理；不依赖整理好的动作集，直接合成完整代码；基于结构化日志做迭代纠错。约束越紧，VLM 真实的编程能力和盲区就越藏不住。

78% 与 62%：差距缩到个位数

HexaShell 的 VLM 在 RLBench 抓放任务上尝试三次后达到 78% 的成功率。这个数字的参照系是：接收深度图像和物体位姿标注的无模型策略，在同一任务上通常报告 80%–85% 的成功率。

差距被压到个位数，而 HexaShell 逼着 VLM 只从原始 RGB 推断几何。这被解读为一条证据：VLM 已经具备相当强的空间推理能力。另一项数据是开门任务，成功率 62%。

消融实验给出了另一面。在 VLM 和机器人之间加一个学习型运动规划器，RLBench 成功率能抬到约 90%，但空间推理的主要负担转移到了规划器身上。也就是说，加了规划器之后，测的就不再是 VLM 本身。HexaShell 的薄壳因此仍是测量 VLM 内在编程能力的合适探针。

失败模式也被记录了下来：深度误估、时序顺序出错、token 上限。这三项指向的研究议程很明确——更好的视觉 grounding、分层脚本生成、轻量外部记忆。

从薄壳到可落地的栈

产品侧的动作是搭一套兼容 HexaShell 的 SDK，面向内部机器人机队。SDK 需要暴露一个统一的 run 调用、结构化日志格式，以及安全包装层。早期采用者——研发和快速原型团队——可以接入任意 VLM，不必重写运动管线。

研发投入的方向是在机器人语料上微调 VLM，包括装配手册、CAD 图纸、运动原语文档。薄壳会放大任何一点改进，因为 VLM 没有学习型策略可以依赖来补偿。

生态定位上，多数竞争者发布的是"语义"壳，把 VLM 原始的编程短板藏起来。走诊断优先的路线，能主张一种独特的测量能力，同时服务学术研究和产品风险评估。

更长期的设想是把薄壳与一个模块化验证层结合：生成的脚本先在高保真仿真里跑一遍，再进入真实世界执行。验证步骤加了一道安全网，核心思路不变——VLM 写代码，机器人运行，VLM 读结果。

HexaShell 并不承诺把任何 VLM 瞬间变成无懈可击的机器人程序员。它做的是拒绝递上任何拐杖，从而暴露当前多模态模型的真实上限。对想快速做机器人行为原型的公司，它给出的是一条"代码优先"的工作流：用自然语言描述目标，让 VLM 输出脚本，看机器人执行，再让它自己调试。对安全攸关的部署，薄壳则要求一个足够结实的沙箱，在每个原语抵达执行器之前逐一检查。