网易首页 > 网易号 > 正文 申请入驻

银河通用王鹤谈具身智能「GPT时刻」标准

0
分享至


机器人会打网球、会转笔、会做早餐,是否意味着具身智能已经接近真正的通用化?

银河通用创始人兼首席技术官王鹤的答案是,单项任务的成功只能证明技术能力可行,真正决定产业是否迎来拐点的,是这些能力能否跨场景、跨任务、跨本体复用,并以足够低的成本部署到真实环境。

8月19日-23日举行的世界机器人大会(WRC 2026)期间,王鹤在银河通用主办的《具身智能大模型的进化之路:从技术分级到产业落地》论坛上发表演讲时表示,单点能力只是具身智能的第一步,下一阶段的竞争将转向通用模型、数据基础设施和规模化部署能力。

银河通用把具身智能的发展划分为四个阶段。第一阶段,在复杂运动项目中达到人类业余水平的“AlphaGo时刻”;第二阶段,建立统一模型和数据范式的“GPT-2时刻”;第三阶段,能够在多样化环境中完成广泛任务的“ChatGPT时刻”;第四阶段,最终在物理世界和认知领域全面超越人类的“AGI时刻”。

在王鹤看来,通用化的关键,是将机器人的“大脑”与“小脑”连接起来。其中,大脑负责理解环境、解析任务语义和进行长程规划;小脑负责将高层意图转换成实时、精确、可靠的全身动作。两者之间还需要一个“脑桥”,把低频的任务决策与高频的运动控制连接起来。

这一分层回应了具身智能长期面临的一项矛盾——负责理解和规划的大模型通常推理频率较低,而机器人与物理世界交互需要百赫兹级的实时反馈。仅靠一个端到端模型,很难同时处理长程推理和精细控制。

为解决“大脑”的通用化问题,银河通用提出世界动作模型WAM,将VLA的动作生成能力与世界模型的环境理解和预测能力结合起来。银河通用称,其AstraBrain-WAM 0.5能够融合仿真、真机和人类行为数据,并在跨场景、跨本体和多任务操作中实现能力迁移。

在“小脑”一侧,银河通用推出AstraBrain-WBC 0.5通用小脑基座模型,通过大规模人类运动数据学习,将人的运动意图迁移到不同的人形机器人本体上。

如果这一路线成立,机器人运动控制将不再依赖为每一种动作单独训练一套策略,而可以逐渐形成类似基础模型的能力,增加数据和模型规模后,获得更强的零样本运动泛化能力。

对于行业频繁讨论的具身智能“ChatGPT时刻”,银河通用给出了更具体的能力基准。第一,机器人应当具备零样本泛化能力。在不进行任务特定工程开发的情况下,面对人类常见任务能够达到70%至80%的成功率。第二,机器人系统必须足够容易部署。客户不需要拥有专业的AI团队,只需采集少量现场数据并完成轻量级后训练,便能将成功率提高到接近实际使用要求。

这个定义把“技术演示”和“产业产品”区分开来。客户真正关心的,是机器人进入一个从未见过的场景后,是否能够直接工作;出现新任务时,是否需要重新组织一支算法团队;场景发生变化后,能否快速恢复。

为解决模型进入新场景后的适配问题,银河通用提出WAM-TTT,即World-Action Model Test-Time Training。WAM-TTT希望依靠人类第一视角视频完成场景适配,无需重新采集机器人动作数据,也无需进行动作标注。其基本流程是:模型先完成基础训练;进入客户现场后,由人类在真实环境中示范任务;系统从人类视频中学习场景、物体和任务信息,再把相应能力迁移到机器人上。

这一方法真正解决的是具身智能的边际部署成本。如果每进入一家工厂、一家门店或一个家庭,都要重新采集大量机器人数据并开展数周训练,那么通用模型仍然只是一个昂贵的项目制工具。只有把适配过程压缩到普通用户也可以完成,机器人能力才可能像软件一样规模化复制。

具身智能的另一项难题,是缺少类似互联网文本的海量标准化数据。银河通用构建了AstraData数据基础设施,覆盖人类动作数据、合成仿真数据、真机遥操作数据和真实部署回流数据,并配套推出采集设备、仿真平台和可视化数据管理系统。

银河通用披露,其AstraData体系已覆盖超过100万小时人类动作数据,其中包括高精度UMI数据和第一视角人手数据;真机遥操作数据的日产能达到1500小时,真实场景回流数据超过8万小时。

不过,银河通用强调,数据规模本身并不是目标。并非所有数据皆具训练价值,只有能够提高模型真实任务表现的数据,才是有价值的数据;反之,只有经过真实场景部署和验证的模型,才能证明其有效性。

这意味着具身智能的数据竞争将不只是“谁采得更多”,而是“谁能建立数据—模型—部署—回流的闭环”。训练数据提升模型能力,模型进入真实场景产生新的反馈,反馈再用于筛选和优化训练数据。只有当这一飞轮持续运转,具身模型才可能随着部署规模扩大而不断进化。

以下为「明亮公司」整理的王鹤以《推动具身智能与人形机器人的核心突破时刻》为题的演讲内容(未经演讲人审阅):

#01 从「AlphaGo时刻」走向通用具身智能

今天,我想和大家探讨一个问题,如何推动具身智能和人形机器人实现技术突破,并真正走向通用。

我们认为,要实现人形机器人的通用化,需要具备两个核心条件:一是能够完成不同任务的通用硬件本体;二是能够驱动本体完成复杂任务的通用机器人“大脑”。


过去一段时间,全球科技界都在关注机器人运动能力的进步。我们把机器人在复杂运动任务中达到人类业余水平,称为具身智能的“AlphaGo时刻”。

今年,我们展示了人形机器人自主打网球的能力。网球是一项非常复杂的运动。机器人不仅需要保持身体平衡,还需要完成实时移动、挥拍、击球和回位;它既要控制全身,也要精确控制手腕和球拍,同时还要判断来球轨迹、落点与速度。

这些动作不是预先编排好的,机器人需要感知对手的击球,根据球的状态实时完成全身运动规划,并连续处理多回合交互。

我们实现了人形机器人与人类进行多回合自主对打。这项工作发布后,在全球科技社区引起了广泛关注,也得到了包括Elon Musk在内的科技界人士回应。


我们能够实现这项能力,重要原因之一是仿真强化学习。机器人可以在仿真环境中进行大规模训练,相当于在很短时间内积累人类上万年的练习经验。通过解决仿真到真实世界的迁移问题,机器人在现实环境中也能够完成复杂的动态运动。

除网球之外,我们还探索了灵巧手的复杂操作。在此前的春节联欢晚会中,机器人完成了手中转核桃的动作。这类任务涉及密集接触,不能仅依赖固定轨迹。两个核桃之间、核桃与手指之间的接触状态会持续变化,任何一个细小误差都可能导致任务失败。


要完成这样的操作,模型必须学习物体与手之间的动力学关系,并在真实环境中根据反馈不断修正动作。我们采用了仿真强化学习与真实数据反馈结合的方法,使机器人能够逐步掌握这类高难度灵巧操作。

我们还实现了机器人在真实环境中转笔。过去的一些方案只能在仿真中完成,而我们希望这些能力最终能够进入真实物理世界。接下来,我们还会继续探索更多不同姿态和不同方式的转笔动作。

网球、转笔和转核桃都是复杂任务,但这些仍然只是单项能力。真正的具身通用智能,不能只在一个任务上表现出色,而要把这些能力迁移到更多任务、更多场景和更多机器人本体。因此,机器人需要从“专才”走向“通才”。

我们认为,通用人形机器人需要同时具备通用大脑和通用小脑。

通用大脑负责理解世界、理解人的指令、规划长期任务,并决定接下来应该做什么;通用小脑负责把高层任务转化成快速、精准和稳定的动作。

两者处理问题的时间尺度不同。大脑可能以每秒数次的频率进行任务理解和规划,而小脑需要以每秒数百次的频率控制机器人的身体。中间还需要一个脑桥,把大脑产生的高层动作意图传递给小脑。我们将这套系统称为“银河星脑”AstraBrain。


在大脑层面,我们面临的核心问题是如何定义适合机器人使用的基础模型范式。过去比较主流的方向是VLA,也就是视觉—语言—动作模型。VLA可以根据视觉输入和语言指令直接输出机器人动作,但它依赖带有机器人动作标签的数据。

机器人数据与语言数据不同。互联网天然存在大量文本和图像,但机器人动作数据需要通过真机、遥操作或者仿真单独采集,成本很高,而且容易受到机器人本体结构的限制。

另一个重要方向是世界模型。世界模型能够从大量视频和人类数据中学习环境变化规律,并预测未来可能发生什么。但是,传统世界模型主要负责理解和预测,并不直接生成机器人动作。

因此,我们提出世界动作模型WAM,也就是World Action Model。WAM希望把VLA的动作生成能力和世界模型的环境理解能力结合起来,让同一个模型既能够理解世界、预测动作后果,也能够直接生成机器人的动作。


我们希望WAM能够吸收多种类型的数据,包括仿真数据、真实机器人数据、人类行为数据、高质量数据、低质量数据、有动作标签的数据和无动作标签的数据。只有这样,机器人模型才可能摆脱对单一本体和单一数据来源的依赖。

#02 WAM如何实现跨场景、跨本体和多任务泛化

我们推出的AstraBrain-WAM 0.5,目标是实现跨场景、跨本体和多任务的操作能力。一个重要变化是,我们不再只在像素空间中学习,真实场景中的光照、纹理、背景和物体外观经常变化,如果模型直接依赖像素信息,环境发生轻微变化,就可能影响动作预测。

因此,我们让模型在潜在空间中学习更稳定的物理和动作表示,过滤掉与任务无关的信息,把注意力集中在物体结构、空间关系、接触状态和动作后果上。我们的训练数据包括高质量机器人动作数据,也包括存在噪声或者动作并不完美的数据,还包括人类第一视角视频。

人类视频通常没有机器人动作标签,但其中包含了大量对物体操作和环境变化的知识。如果模型能够从这些视频中学习动作之前和动作之后的状态变化,就可以把人类数据转化为机器人可利用的训练资源。

实验中,我们看到随着训练数据规模和模型规模增加,模型的动作预测误差持续下降。这说明世界动作模型同样可能存在Scaling Law。


在模型预训练的基础上,我们还使用真实机器人强化学习进行后训练。例如在机器人制作早餐的任务中,任务链条很长,环境中还可能不断出现干扰。机器人需要抓取餐具、处理食材并完成多个连续步骤。如果其中一个步骤失败,后续任务就可能全部中断。

经过真机强化学习后训练,机器人能够在受到一次或者多次干扰后继续完成任务。我们还在继续提高任务长度,希望机器人能够自主完成持续十分钟以上的早餐制作任务。


这类能力与提前编排动作有本质区别。机器人不是机械地执行固定轨迹,而是在任务过程中持续感知环境、判断状态并调整动作。

#03 通用小脑让人的运动能力迁移到机器人

除了负责认知和规划的大脑,机器人还需要通用小脑。我们推出了AstraBrain-WBC 0.5通用小脑基座模型,希望机器人能够从大规模人类运动数据中学习全身控制能力。

人类可以自然地完成走路、跑步、弯腰、转身和伸手等动作。对机器人而言,每一个动作都涉及全身关节协调、动态平衡和实时反馈。传统方法通常为每一种动作单独训练策略,训练成本高,而且难以迁移到新动作和新本体。

通用小脑的目标,是学习人的运动意图和身体协调规律,再将这些规律映射到机器人本体上。在我们的演示中,同一套系统可以驱动不同的人形机器人完成动作,也可以根据训练数据中相近的运动模式,对没有见过的动作进行泛化。

随着人类运动数据从百万帧扩展到更大的规模,模型的零样本运动误差持续降低。我们认为,小脑模型同样具备通过数据和模型规模持续提升的可能性。

未来,机器人在面对应急救援、消防、消杀等场景时,需要根据人的意图快速获得相应的运动能力。通用小脑可以降低每一种新动作都从头训练的成本。

#04 如何定义具身智能的「ChatGPT时刻」

行业经常讨论具身智能什么时候会迎来“ChatGPT时刻”。我们认为,需要先给出一个相对明确的能力标准。

在数字智能领域,ChatGPT最重要的特点之一是零样本泛化。用户不需要为每一个问题重新训练模型,只需要通过自然语言提出需求,模型就能够完成大量日常任务。具身智能也应该达到类似水平:

第一,在不进行任务特定工程开发的前提下,机器人对于人类常见任务应当具备零样本泛化能力,并达到70%至80%的成功率。这里强调的是不针对单个任务重新编写规则、不采集大规模专项数据,也不重新设计整套系统。

具身模型必须容易使用和部署。客户不应该必须拥有一支专业的人工智能团队,才能让机器人适应新场景。理想情况下,客户可以采集少量现场数据,上传系统并完成轻量级后训练,把任务成功率进一步提高到接近100%。整个适配过程应当压缩到一天至一周,而不是持续几个月。


如果机器人能够达到这两个标准,就意味着它不再是为一个任务定制的自动化设备,而开始具备真正的通用产品属性。

#05 WAM-TTT:只用人类视频完成场景适配

为了进一步降低模型部署成本,我们提出WAM-TTT,也就是World-Action Model Test-Time Training。

传统后训练通常需要机器人在目标场景中采集动作数据。这个过程不仅成本高,而且存在安全风险。WAM-TTT希望在部署阶段只使用人类第一视角视频,不需要机器人动作标签。

人先在目标场景中完成任务,模型通过视频理解环境、物体、操作顺序和任务结果,再把相应技能迁移到机器人上。这种方式有三个特点,只需要人类数据,不需要动作标注,并且可以通过少量专用参数进行快速学习。


我们的目标是让机器人进入新的客户场景后,不再依赖大规模重新采集真机数据,而是让现场人员通过自然示范帮助机器人完成适配。只有把部署过程变得足够简单,通用模型才可能真正进入不同工厂、门店和家庭。

模型的持续进步离不开数据,但并不是所有数据都具有相同的训练价值。

我们构建了AstraData数据基础设施,覆盖人类动作数据、合成仿真数据、真机遥操作数据和真实部署回流数据。

在人类动作数据方面,我们从2021年开始布局第一视角人类—物体交互数据,并发布了HOI4D数据集。此后,我们继续建设更大规模的人类动作数据体系。

我们推出了Astra Set数据采集设备,包括第一视角环境感知终端Astra EGO和精细操作数据采集设备Astra UMI,用于记录人的视角、手部动作、空间轨迹和物体交互信息。


目前,AstraData支持超过100万小时的人类动作数据,其中包括50万小时高精度UMI数据和50万小时第一视角人手数据。

在合成数据方面,我们建设了AstraSynth合成数据平台,整合场景、物体、机器人本体、物理仿真和渲染工具,用于批量生成机器人训练所需的数据。

在真机数据方面,我们在多个城市建设遥操作数据采集能力,日产能达到1500小时。在真实部署端,已经积累超过8万小时的真机回流数据。


我们认为,数据的价值不能只通过数量判断。有些数据规模很大,但无法提高模型在真实任务中的表现;有些数据数量有限,却能帮助模型解决关键失败模式。

因此,只有经过真实场景验证的模型,才是有用的模型;只有经过大规模模型训练和部署验证的数据,才是有用的数据。

我们希望形成一个持续循环:数据用于训练模型,模型进入真实环境执行任务,部署过程产生新的反馈和数据,再利用这些数据继续优化模型。只有形成这样的闭环,具身智能才可能随着部署规模扩大而不断进化。

#06 从模型能力走向产业生态

具身智能不可能由一家公司独立完成。我们正在推动开放生态建设,希望更多开发者、科研机构和产业伙伴参与模型、数据、应用和工具开发。

我们希望把机器人本体、银河星脑、数据基础设施和开发工具逐步开放给合作伙伴,让更多开发者能够在此基础上构建新的任务与应用。


回到今天演讲的主题,具身智能正在从单项能力验证走向通用基础模型,从实验室演示走向真实产业部署。

我们已经看到了复杂运动和灵巧操作的“AlphaGo时刻”,正在建设统一模型与数据范式,也在向具身智能的“ChatGPT时刻”迈进。未来,机器人需要理解环境、制定计划、完成行动,并在真实世界中持续学习和进化。

只有当这些能力能够以低成本、可复制的方式进入工厂、商业场景和家庭,具身智能才真正具备推动新一轮产业变革的基础。我们相信,具身大模型将成为人形机器人走向通用的关键,也将推动智能从数字世界进一步进入物理世界。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
皇马球员姆巴佩说了什么,公众义愤填膺?

皇马球员姆巴佩说了什么,公众义愤填膺?

芳华青年
2026-10-28 20:06:31
39岁希拉里·达芙镶钻眉毛登封面,自曝不想回到17岁

39岁希拉里·达芙镶钻眉毛登封面,自曝不想回到17岁

娱圈观察员
2026-10-28 03:37:17
杨议鞠躬道歉,晚了!6场演出全部取消,天津文旅介入调查,374.18万债务未还清已被限高

杨议鞠躬道歉,晚了!6场演出全部取消,天津文旅介入调查,374.18万债务未还清已被限高

火山詩话
2026-10-27 05:47:46
杨瀚森巨大危机:连续两场被弃用 还剩6天决定是否执行第3年选项

杨瀚森巨大危机:连续两场被弃用 还剩6天决定是否执行第3年选项

醉卧浮生
2026-10-28 14:21:55
西班牙首相宣布为列车相撞事故遇难者全国哀悼三天

西班牙首相宣布为列车相撞事故遇难者全国哀悼三天

界面新闻
2026-10-28 23:14:29
哈尔滨29岁女子外出游玩被蜱虫咬伤,在ICU住了28天,目前四肢瘫痪,丈夫称已花费40万元治疗

哈尔滨29岁女子外出游玩被蜱虫咬伤,在ICU住了28天,目前四肢瘫痪,丈夫称已花费40万元治疗

新京报
2026-10-28 14:36:32
价格大跳水!老登资产全线阴跌,年轻人不接盘了?网友:智商税

价格大跳水!老登资产全线阴跌,年轻人不接盘了?网友:智商税

品牌观察官
2026-10-28 17:31:43
以色列议会选举结束,内塔尼亚胡输了!

以色列议会选举结束,内塔尼亚胡输了!

山河路口
2026-10-28 21:56:09
蔡少芬给陈法蓉庆生,瘦成皮包骨眼斜牙黄,抱俩果盘点蜡烛超开心

蔡少芬给陈法蓉庆生,瘦成皮包骨眼斜牙黄,抱俩果盘点蜡烛超开心

以茶带书
2026-10-28 17:10:10
Claude向癌症发起猛攻!狂搓3.5万抗体,一人带AI造出绝症解药

Claude向癌症发起猛攻!狂搓3.5万抗体,一人带AI造出绝症解药

新智元
2026-10-28 17:11:50
新华社消息|中国要求美国立即停止对古巴的封锁和施压

新华社消息|中国要求美国立即停止对古巴的封锁和施压

新华社
2026-10-28 10:07:24
集体上调!工行、农行、建行、中行、交行、邮储银行,全都在列

集体上调!工行、农行、建行、中行、交行、邮储银行,全都在列

21世纪经济报道
2026-10-28 14:15:11
主犯死刑立即执行,是社会最应送给反诈英雄的离别礼!

主犯死刑立即执行,是社会最应送给反诈英雄的离别礼!

兵叔评说
2026-10-28 14:09:23
最沉重的哀悼

最沉重的哀悼

何新文史
2026-10-28 19:14:48
霉霉自曝与布拉德·佩斯利断交19年:他把上千只蟋蟀放进我巡演大巴

霉霉自曝与布拉德·佩斯利断交19年:他把上千只蟋蟀放进我巡演大巴

热搜摘要官
2026-10-28 03:06:12
特朗普宣布,委内瑞拉将成为美国第51个州

特朗普宣布,委内瑞拉将成为美国第51个州

罗富强说
2026-10-28 12:50:45
韩国外交部长赵显公开表示:如果局势进一步恶化,不排除韩国与乌克兰断绝外交关系的可能

韩国外交部长赵显公开表示:如果局势进一步恶化,不排除韩国与乌克兰断绝外交关系的可能

吉刻新闻
2026-10-28 23:16:45
顶级大佬被爆朋友圈“化缘”求生,越来越多的人躲不掉阶层滑落了……

顶级大佬被爆朋友圈“化缘”求生,越来越多的人躲不掉阶层滑落了……

桌子的生活观
2026-10-28 13:06:23
知名律师:杀害“徽剑”主犯死缓量刑明显偏轻,慎用不等于一味从宽

知名律师:杀害“徽剑”主犯死缓量刑明显偏轻,慎用不等于一味从宽

不掉线电波
2026-10-28 09:28:40
刚刚,加息25个基点!这国央行,突然宣布

刚刚,加息25个基点!这国央行,突然宣布

证券时报
2026-10-28 23:19:06
2026-10-29 05:40:49
明亮Company incentive-icons
明亮Company
追踪新商业、好公司。
749文章数 412关注度
往期回顾 全部

科技要闻

宇树科技前三季净利暴增270%

头条要闻

仅退款后冰柜仍插着电在使用 买家回应

头条要闻

仅退款后冰柜仍插着电在使用 买家回应

体育要闻

0胜4负与篮网国王一桌 热火字母哥赌错了?

娱乐要闻

巾帼不让须眉!章子怡拿下重磅荣誉

财经要闻

iPhone Duo七年等来一场吐槽大会

汽车要闻

首销期权益价23.98万起 2026款理想i6上市

态度原创

数码
时尚
本地
房产
军事航空

数码要闻

苹果首款触控MacBook Pro低音下潜增强50%,首次优化合盖场景音频

10位顶流男明星比惨,给我惹哭了

本地新闻

十月奔赴迪庆,解锁梅里日照金山

房产要闻

重新定义城芯院墅生活!33席印德华府,看见湾区墅居的时代答案

军事要闻

伊朗最高领袖最新声明 提到了“结束战争”

无障碍浏览 进入关怀版