GigaBrain-0.7：给机器人装上三个大脑，让它自己学会越做越好

2026年8月的一天，GigaAI团队发布了一篇技术报告。里面藏着一个挺反直觉的说法：现在的机器人大模型，训练数据越多不一定越聪明,除非你先解决一个更根本的问题,不同机器人之间到底该怎么"说同一种语言"。

这话听起来有点绕。但如果你想过这样一个场景就明白了：一个机械臂的关节角度是一组数字,另一个人形机器人的手臂动作是完全不同的一组数字,轮式底盘还要加上速度和方向。你把这些杂七杂八的数据一股脑扔给模型去学,它学到的可能不是"如何抓取物体"这种通用技能,而是一堆互相打架的噪声。

这就是GigaBrain-0.7要解决的核心问题:如何让一个模型,同时在16种不同的机器人身体上,学会既通用又精确的操作能力。

这事儿难在哪

先说说这个领域此前卡在哪儿。

VLA*：Vision-Language-Action的缩写,一种把视觉观察和语言指令转换成机器人动作的模型架构,是目前机器人大模型的主流范式

之前的VLA模型,比如π0.5,已经能做到不错的效果了。但它们大多有一个共同的局限:模型看到的只是"现在"这一帧画面,然后直接决定"下一步该干什么"。这就像让你只看一张静态照片就要判断整个故事的走向,你可能会误判,因为你不知道前一秒发生了什么,也不知道再往后会怎样。

更麻烦的是训练方式。很多团队采用"分阶段训练":先让模型学视觉语言理解,然后再单独训练一个动作生成模块,两者训练的时候互相独立,最后再拼在一起用。这就好比先分别培训了一个"看图说话"的解说员和一个"照本宣科"的操作工,然后指望他们俩配合默契地完成一台手术。理论上没问题,实际操作起来经常会出现"信息传递损耗"。

GigaBrain-0.7给出的答案是:把理解、预测、行动这三件事,用一套三系统架构同时训练,同时协作。

三个系统怎么分工

这套架构的核心思路,借用了心理学里"系统1系统2"的说法,又往前多走了一步,加了个"系统3"。

系统2负责理解和规划*：这是一个基于PaliGemma2的30亿参数视觉语言模型,负责看懂当前场景,把大任务拆解成一步步可执行的小步骤

举个例子。任务是"把衣服挂到衣架上",系统2看到的画面里有帽子、包和衣服,它先会输出一段类似"这里有帽子、包……"的场景描述,然后给出具体的子任务:"先捡起红色的帽子"。这一步相当于给整个执行过程加了个"思考过程",让模型不是闷头乱抓,而是先想清楚"现在该干什么"。

如果没有这一层拆解会怎样?想象让一个刚学做饭的人直接执行"做一顿满汉全席",他大概率会手忙脚乱不知从哪下手。但如果先告诉他"先切菜,再炒菜,最后摆盘",每一步都清晰具体,执行起来就顺畅得多。系统2做的就是这件事,把模糊的大目标拆成清晰的小步骤。

系统3负责预测和评估*：基于一个50亿参数的世界价值模型GigaWorld-1,它会预测"接下来可能发生什么画面",还会给当前的执行状态打一个进度分

这是整套架构里最有意思的设计。系统3不光要看"现在",还要"想象未来"。具体来说它做两件事:第一,根据当前观察和子任务指令,生成一小段未来视频,取最后一帧作为"目标画面",这个画面代表"如果这个动作做对了,大概会变成什么样子"。第二,它会算一个数值,衡量当前执行状态是不是在朝着任务完成的方向前进,这个数值转换成一个简单的信号:进度在提升还是没提升。

这里有个值得琢磨的设计细节。这个"进度信号"不是靠人工标注得到的,也不是靠另一个语言模型去推理判断的,而是完全由世界模型通过"想象未来"自动算出来的。论文里给了一个很直观的例子:机器人在给一个盒子翻盖子,盖子突然掉了,这时候预测的进度值会应声下跌;等机器人重新调整,把盖子捡起来继续翻转,进度值又慢慢回升。整个过程没有人工干预,系统3自己就能判断出"哦这次搞砸了"和"现在又走上正轨了"。

如果没有这个进度信号会怎样?那就相当于一个人在走迷宫,只能看到脚下这一步,完全不知道自己是不是在往出口方向走。有了这个信号,相当于给了他一个"温度计",越走越暖说明方向对,越走越凉说明得赶紧改道。

系统1负责真正的动作生成*：这是整个架构里唯一直接控制机器人身体的部分,它把系统2给的子任务、系统3给的预测画面和进度信号,还有机器人自己的关节状态,全部揉在一起,输出具体的动作指令

系统1的内部设计也挺讲究。它用了一种叫MoT*（Mixture-of-Transformers,混合Transformer架构,让视觉语言模型和动作专家模块共享注意力但保留各自独立的参数）的结构,视觉语言部分保持原有的因果注意力方式(也就是只能看之前的信息,不能看未来的),而动作专家部分则可以同时关注视觉语言流和自身的信息。这个设计的巧妙之处在于,既不破坏预训练好的语言理解能力,又能让动作生成部分充分利用语义信息。

这里还藏着一个叫Soft Knowledge Insulation(软知识隔离)的技巧。

Soft KI*：一种训练技巧,让动作学习的梯度只以一定比例传导回视觉语言模型,而不是完全隔离或完全打通,目的是在保留语言理解能力和获得具身控制能力之间找平衡

如果完全隔离,动作学习学不到语言模型里那些关于物体、空间关系的丰富知识;如果完全打通,又可能把语言模型原本擅长的通用理解能力给"训练坏了"。Soft KI相当于给两边开了个可控的阀门,让信息能流通,但流量有限制。这就像两个相邻的房间之间开了扇小窗,既能透气交流,又不至于把两边的温度搞得一模一样,失去各自的功能特点。

37000小时数据是怎么攒出来的

说完架构,再来说说数据。这块是这篇论文里信息量最大的部分之一。

GigaBrain-0.7的训练数据总共分成两大类。第一类是具身轨迹数据,总时长37256.98小时,覆盖16种机器人形态。第二类是视觉语言数据,总共271,976,674个图文问答样本。

具体拆解一下具身轨迹数据的构成:真实机器人数据占了55.12%,时长20535.65小时;

UMI*：Universal Manipulation Interface的缩写,一种让人类直接手持设备采集操作演示数据的技术,采集到的画面视角和机器人手腕摄像头很接近

数据占22.15%,时长8251.83小时;第一人称人类演示数据(论文里叫EGO数据)占7.68%;仿真数据占3.9%;世界模型生成的数据占11.15%。

这个数据配比里最值得琢磨的是UMI和EGO这两类"人类数据"的存在。为什么要花大力气收集这些不是机器人采集的数据?

答案藏在论文的一个消融实验里。研究团队从3000小时的纯机器人数据出发,分别加入等量的UMI数据、EGO数据,以及两者都加。结果显示,单独加UMI能提升表现,单独加EGO也能提升表现,两个都加,效果是最好的。而且这个提升不是那种"看起来好但用不上"的虚假提升,后训练之后差距依然存在,说明这些人类数据确实改变了模型学到的"底层先验知识"的质量,而不只是临时抱佛脚式的表面改善。

这背后的道理其实挺朴素。机器人采集的数据,天然带着机器人自身的运动约束和视角局限。而人类用手操作,动作更自然、更丰富,尤其是UMI这种贴近手腕视角的数据,能补充机器人摄像头视角下容易缺失的近距离操作细节;EGO这种第一人称视频,则能提供更广泛的物体类别和场景多样性。三种数据源各自擅长不同的方面,拼在一起才能形成互补。

如果只用机器人数据会怎样?论文里做了个对比,在"清理混乱衣物"这个复杂任务上,数据规模从5%涨到100%,成功率从接近0一路涨到70%以上。数据规模每增加一档,这个需要处理柔性物体、状态变化极其复杂的任务,表现提升就越明显,说明复杂长程任务对数据覆盖度的要求特别高。而水果抓取这种相对简单的任务,数据规模增加带来的提升就平缓得多。这也印证了一个道理:越是复杂的技能,越需要海量、多样的经验去喂养,不能指望"少量数据也能练出绝活"。

时间上下文:为什么机器人会陷入死循环

论文里有一段特别形象的对比实验,讲的是"时间记忆"对机器人行为的影响。

具体场景是这样的:如果只让模型看当前这一帧画面来决策,机器人在执行某些任务时会陷入一种奇怪的循环,反复回到某个相似的场景,做重复的动作,像是"卡关"了一样。论文配的图里,连续十帧画面显示机器人在同一片区域来回折腾,怎么都走不出去。

这个现象背后的原因也不难理解。有些操作场景里,视觉上很相似的两个瞬间,可能对应任务执行的完全不同阶段。比如你正在整理桌子,第一次经过某个位置和第三次经过同一个位置,画面看起来差不多,但你心里清楚这是第几轮了,该往下一步走了。可如果机器人只靠"看图"决策,没有记忆,它就分不清这是第一次还是第三次经过这里,于是不断重复。

GigaBrain-0.7给系统1加了个叫"短期视觉记忆"的模块,通过Temporal-Spatial Blocks(时空模块)把最近几帧的历史信息,压缩融合进当前帧的表示里,过去的画面本身不会占用额外的处理资源,只是把"信息"提炼出来叠加进当前认知。加了这层记忆之后,同样的场景下,机器人能顺利跳出循环,继续往下执行任务。

这有点像你去一个陌生的商场找洗手间,如果你完全没有记忆,每次转过一个拐角看到相似的走廊,你可能会以为自己又回到了起点,来回打转;但如果你脑子里记得"我已经路过这个拐角两次了",你就会主动换个方向走,不会一直卡在原地。

从数据到能力:预训练完就能直接干活吗

这篇论文里让我觉得挺意外的一个结论是:GigaBrain-0.7在完全没做任何针对性微调的情况下,已经能完成相当一部分复杂任务了。

论文管这个叫"开箱即用"能力测试。团队在两个完全不同的机器人平台上做了验证:一个是低成本的AgileX PiPER双臂机械臂,另一个是自研的人形机器人Maker H01。

在语言跟随任务上,预训练模型在AgileX PiPER平台的域内测试里平均成功率达到94.5%,即使是没见过的分布外场景,平均也有36.5%的成功率。在复杂长程操作任务上,比如叠乱糟糟的衣服、抓糖果、装东西,域内平均成功率63.3%,域外平均26.7%。

这里有个案例特别说明问题。团队测试了一个"辣椒"物体,这个具体的辣椒实例根本没在训练数据里出现过,而且要用的两个容器,原本从没在同一个任务配置里被采集过,摆放位置在测试时还是随机的。结果模型依然能识别出语言指定的目标,找到对应的容器,完成正确的抓取放置。这说明模型学到的不是死记硬背的"看到这个场景就做这个动作",而是某种更抽象、可以组合和迁移的操作逻辑。

在Maker H01平台上,团队还测试了一个更极端的场景:训练数据里根本没有葡萄这种水果,测试场景和任务组合方式也从没在H01的数据采集中出现过。但机器人依然能听懂指令,选中正确的目标物体,完成操作。

不过也得说清楚,这种泛化能力不是无限的。当物体身份、场景配置、任务组合这三个因素同时变化的时候,成功率会明显下降。这说明当前的基础模型转移能力,在"保留部分相似结构"的情况下表现更强,一旦多个变量同时剧烈变化,依然是个挑战。这也是论文里比较坦诚承认的局限。

后训练加持:数字说话

预训练之后,针对具体任务再做后训练,效果提升有多明显?

论文给了一组对比数据,在语言跟随任务上,GigaBrain-0.7和π0.5、GigaBrain-0.1(上一代模型)、以及小米机器人1号做了对比。

| 平台 | 模型 | 平均成功率 |

| AgileX PiPER | π0.5 | 88.8% |

| AgileX PiPER | GigaBrain-0.1 | 76.1% |

| AgileX PiPER | Xiaomi-Robotics-1 | 72.3% |

| AgileX PiPER | **GigaBrain-0.7** | **91.5%** |

| Maker H01 | π0.5 | 75.2% |

| Maker H01 | GigaBrain-0.1 | 69.6% |

| Maker H01 | Xiaomi-Robotics-1 | 58.7% |

| Maker H01 | **GigaBrain-0.7** | **84.2%** |

复杂操作任务上的差距更大一些:

| 平台 | 模型 | 平均成功率 |

| AgileX PiPER | π0.5 | 76.6% |

| AgileX PiPER | GigaBrain-0.1 | 64.8% |

| AgileX PiPER | **GigaBrain-0.7** | **84.9%** |

| Maker H01 | π0.5 | 45.2% |

| Maker H01 | GigaBrain-0.1 | 43.2% |

| Maker H01 | **GigaBrain-0.7** | **74.1%** |

在人形机器人Maker H01这个更复杂的平台上,GigaBrain-0.7对比上一代模型,提升幅度尤其大,尤其是在食物加工加热、洗碗清理这类需要多阶段执行的任务上。这也侧面说明,越是复杂、越考验长程规划能力的场景,系统3带来的预测和评估能力就越能发挥作用。

系统3到底值不值:一个消融实验说清楚

光说系统3有用还不够,论文专门做了个消融实验,把"预测未来画面"和"评估进度"这两个功能拆开单独测试,看看到底各自贡献了多少。

四种配置分别是:基础模型、只加未来画面预测、只加进度评估、两者都加。测试任务包括叠衣服、包礼物盒子、方块分拣。

在叠衣服这个相对简单的任务上,四种配置都能达到100%成功率,但平均任务评分从基础模型的68.3%一路涨到加了两个信号之后的88.3%,完成时间也从107秒缩短到75秒。这说明即便任务"能完成",加了预测和评估信号之后,完成得更利落、更高效。

包礼物盒子这个任务上差距就明显多了。基础模型直接是0%成功率,加了未来画面预测之后涨到20%,加了进度评估涨到60%,两者都加达到80%。这说明对于步骤更复杂、更容易出错的任务,系统3的价值会被放大。

这个实验结果传达的信息挺清楚:预测和评估这两个信号,不只是让任务"能不能做成"发生变化,更重要的是让机器人在做的过程中,减少犹豫、少走弯路。这就好比开车时有没有导航提示前方路况:哪怕最终都能到目的地,有实时路况提示的那趟路,开得明显更顺、更快、更少急刹车。

经验驱动的强化学习:让机器人自己纠正自己

预训练和后训练之后,GigaBrain-0.7还加了一层"经验驱动的强化学习",分成离线和在线两个阶段。

离线阶段的思路是这样的:把已经训练好的策略部署到真机上跑,收集下来的数据里既有成功的也有失败的。然后用一种叫AWR*（Advantage-Weighted Regression,优势加权回归,一种根据动作片段的"优势"打分,给表现好的片段更高训练权重的方法）的技术,让表现好的动作片段在后续训练里获得更大的权重,表现差的则被降权。这一步不需要额外跑真机,纯粹是"复盘"已有的经验数据。

在线阶段则更进一步,重新部署策略去跑真机,遇到困难情况时,人工介入给出纠正动作。这些纠正动作会被记录下来,成为最难啃的那些"失败边界"的直接监督信号。

论文里给了四个具体任务的成功率变化,挺能说明问题:

| 任务 | 监督微调 | 离线强化学习 | 在线强化学习 |

| 连杆安装(PiPER) | 20% | 40% | **100%** |

| 礼盒打包(PiPER-X) | 80% | 90% | **100%** |

| 扎带插入打结(PiPER-X) | 0% | 40% | **100%** |

| 轴承安装(H01) | 20% | 60% | **100%** |

四个任务无一例外,每经过一个阶段成功率都在提升,最终全部达到100%。尤其是扎带插入打结这个任务,从完全做不到(0%)到离线阶段的40%,再到在线阶段的100%,提升幅度非常陡峭。这说明当任务涉及精细操作、需要在关键状态精确对齐的时候,来自真实部署经验的针对性纠正,价值格外突出。

这套流程背后的逻辑其实很像人学一门手艺。刚开始照着师傅教的动作模仿(监督微调),然后自己反复练习并复盘哪些练习片段做得好(离线强化学习),最后在真实场景里操作,师傅在旁边随时纠正你最容易出错的那几个动作(在线强化学习)。每一步都在磨掉前一步留下的粗糙感。

模拟环境和真实世界的双重考验

除了真机测试,团队还在几个标准化模拟benchmark上做了验证,包括RoboTwin 2.0、EBench和RoboColiseum。

在RoboTwin 2.0上,采用官方的联合训练协议,一个策略同时在全部50个任务上训练。GigaBrain-0.7在"清洁"设置下拿到66.8%,在"域随机化的困难"设置下拿到67.9%,综合排名第一。有意思的是,虽然有些模型在干净环境下表现更高,但一旦加入域随机化(相当于给测试场景加噪声),GigaBrain-0.7的优势就显现出来了,这说明它对视觉和环境变化的鲁棒性更强。

在RoboColiseum这个更贴近真实场景重建的评测体系里,GigaBrain-0.7在指令跟随、空间推理、鲁棒性、通用操作这四个维度上,全部拿到开源模型里的最高分,尤其是空间推理这一项,领先幅度相当明显。

写在后面

读完这篇论文,有一处细节让我反复琢磨了很久,就是系统3那个"进度信号"的生成方式。

它没有用任何人工标注,也没有让一个语言模型去"推理判断"当前状态好不好,而是完全靠世界模型自己"想象"接下来会发生什么,再倒推出一个数值。这个设计思路挺有意思的地方在于,它把"判断做得好不好"这件事,从一个需要语言、逻辑、常识的复杂认知任务,简化成了一个视觉预测问题:你只需要能想象未来长什么样,就能反推现在走得对不对。

这让我联想到人在学一项新技能时的状态。刚开始学游泳,教练很难用语言精确描述"你现在这个姿势对不对",但如果你能在脑子里想象出"再往前划一下手臂,身体会往哪个方向偏",你其实已经具备了自我纠正的能力,不需要教练每次都开口。GigaBrain-0.7想做的可能就是这件事,让机器人具备一种类似的"内部想象力",不需要外部裁判天天打分,自己就能感觉到"这样做不太对"。

另一个值得记一笔的地方,是论文里反复出现的"数据配比实验"。团队没有简单地堆数据量,而是花了很大篇幅去验证不同数据来源(机器人、人类演示、仿真、生成数据)各自的边际贡献。这种"精细配平"的思路,某种程度上比"暴力堆参数堆数据"更考验研究团队的耐心和判断力,毕竟每一种数据源背后都对应着完全不同的采集成本和覆盖范围。

论文还没解决的问题也挺明显的:当物体、场景、任务组合同时发生变化时,泛化能力会明显打折扣。这个问题不是GigaBrain-0.7独有的,几乎是当前所有具身智能模型共同面临的瓶颈。什么时候能让机器人真正做到"见过苹果的抓取方式,就能推广到从没见过的芒果",而且是在场景和任务都变了的情况下,这大概是接下来几年这个领域最值得盯着看的一件事。

Q&A

Q1：GigaBrain-0.7的三系统架构分别是什么？

A：系统1负责动作和控制，生成具体的机器人动作；系统2负责理解和规划，把大任务拆解成可执行的小步骤；系统3负责预测和评估，通过世界模型预测未来画面并给出任务进度打分，三者协同工作。

Q2：GigaBrain-0.7用了多少训练数据？

A：预训练数据包含超过37000小时的具身轨迹数据，涵盖16种机器人形态，另外还有约2.7亿个视觉语言图文问答样本，数据来源包括真实机器人、UMI人类演示、第一人称视频、仿真和世界模型生成数据。

Q3：GigaBrain-0.7的经验驱动强化学习是怎么运作的？

A：分离线和在线两个阶段。离线阶段用已部署策略收集的成功和失败数据做优势加权训练；在线阶段重新部署策略跑真机，遇到困难时人工介入纠正，四个测试任务最终都达到了100%成功率。