网易首页 > 网易号 > 正文 申请入驻

机器人的终局:英伟达Jim Fan宣告VLA时代结束,WAM登场

0
分享至

Jim Fan是英伟达机器人与AI研究组(GEAR Lab)负责人,过去几年主推的GR00T人形机器人基础模型用的是VLA(Vision-Language-Action,视觉-语言-动作)架构。他刚在Sequoia AI Ascent 2026上做了一场20分钟的演讲,主题叫《Robotics' End Game》,第一件事就是宣布VLA路线过时——包括他自己半年前还在推的GR00T。


取而代之的新范式叫世界动作模型(WAM),代表作是英伟达2月发布的DreamZero。他把这套思路叫"底层同构":复制LLM(Large Language Model,大语言模型)走过的三步(预训练→对齐→强化学习),用视频世界模型替代语言模型,用人类第一人称视频替代遥操作数据,最终在2040年前让机器人自己设计和制造下一代自己。他对此有95%的把握。

要点速览

VLA路线落幕:Jim公开宣告VLA路线过时,新范式叫世界动作模型(WAM),代表作是DreamZero(140亿参数)。

告别遥操作数据:遥操作物理上限低,预测一两年内降到接近0,被传感化人类数据取代。

神经缩放定律:EgoScale用21,000小时人类第一人称视频预训练,团队发现了灵巧操作的神经缩放定律(R² = 0.998)。

神经仿真器:Dream Dojo用44,000小时人类视频训练出一个完全绕过物理引擎的神经仿真器。

终局倒计时:给出2040年完成机器人终局的预测(物理自动研究),置信度95%。

从DGX-1签名到"底层同构"

Jim用一段往事开场。2016年夏天,就在OpenAI当时的办公室,黄仁勋穿着标志性皮夹克,抱着一块大金属托盘走进来,上面写着:"致Elon和OpenAI团队,致计算和人类的未来。"那是全球第一台DGX-1。

Jim当时是OpenAI的第一个实习生,赶紧排队去上面签了名。"那时候我完全不知道自己在签什么。"旁边一起签的还有Andrej Karpathy。这台机器现在在Computer History Museum收藏。

于是他做出了一个决定:抄作业,换个名字,叫"底层同构"(the Great Parallel)。把"模拟字符串的下一个状态"换成"模拟物理世界的下一个状态",通过动作微调收敛到机器人需要的那部分,最后让强化学习走完最后一公里。

VLA怎么了:参数都堆在了语言上

过去三年,机器人领域的主流架构是VLA(Vision-Language-Action,视觉-语言-动作模型)。英伟达自家的GR00T和Physical Intelligence的π0都属于这个类别。

Jim指出了结构性问题:其实这些模型该叫LVA,因为参数大头全堆在语言上了。语言是一等公民,视觉次之,动作只能垫底。

VLA擅长编码知识和名词,不擅长物理和动词。重心放在了不对的地方。

他举了RT-2原始论文里那个经典demo:让机器人把可乐罐推到Taylor Swift的照片旁边。模型没见过Taylor Swift,但能泛化过去。问题是,泛化的是名词(能认出Taylor Swift),而不是动词(该怎么推、找什么角度、用多大力)。

从AI垃圾视频到DreamZero

VLA不是答案,那下一个预训练范式是什么?结果发现是视频模型,它们在内部学会了模拟物理世界的下一个状态。

怎么把这些世界模型变有用?做动作微调。把"所有可能的未来"这种叠加态,收敛到一条对真实机器人有意义的动作轨迹上。

英伟达的答案叫DreamZero。这是一种新型策略模型,在执行动作之前先往未来"做梦"几秒钟,然后根据梦境行动。DreamZero同时解码下一帧画面和下一步动作。在这里,视觉和动作第一次真正成为了"一等公民"。

Jim坦率地承认DreamZero目前做不到每个任务都100%可靠。"它大概相当于GPT-2的阶段,方向对了,但表现还不够稳定可靠。"他给这个新架构起名叫WAM(World Action Models,世界动作模型)。

数据革命:从遥操作到"机器人不用参与的数据采集"

过去三年是遥操作(teleop)的黄金时代。但遥操作有一个硬上限:每台机器人每天24小时。

"我说一天24小时,那是骗自己的。实际一天能干3小时就不错了,还得看当天的'机器人之神'赏不赏脸——毕竟这帮机器天天闹脾气出毛病。"

怎么破局?把机器人的末端执行器直接戴在人手上,直接采集数据,完全绕过机器人本体。

英伟达方案是DexUMI,一种外骨骼装置。用外骨骼数据训练出的机器人策略可以完全自主运行,训练数据里没有任何遥操作数据。

EgoScale:21,000小时人类视频和缩放定律

英伟达搞了一个叫EgoScale的数据集,包含21,000小时人类第一人称视频,涵盖日常家务、办公室工作、工业操作等场景。

团队发现了灵巧操作的神经缩放定律:随着预训练数据量增加,模型在下游任务上的表现呈线性提升,拟合度R² = 0.998。

这意味着什么?机器人学习也遵循和LLM类似的缩放规律——只要数据够多,模型就能持续变强。

Dream Dojo:完全绕过物理引擎的神经仿真器

传统机器人训练需要在仿真环境里一遍遍试错,但仿真器和真实世界总有差距。

Jim团队的解决方案是Dream Dojo:用44,000小时人类视频训练出一个完全基于神经网络的世界模型,彻底绕过传统物理引擎。

这个神经仿真器能生成逼真的物理交互视频,机器人在"梦境"里训练,然后零样本迁移到真实世界。

2040年终局:机器人自己造下一代

Jim给出了一个大胆预测:2040年前,机器人将完成"物理自动研究"——也就是机器人自己设计和制造下一代机器人。他对此的置信度是95%。

路径已经很清晰:预训练(世界模型)→对齐(动作微调)→强化学习(自我改进)→自动研究(机器人造机器人)。

这和LLM的发展轨迹几乎一模一样。唯一的区别是,LLM处理的是文本,WAM处理的是物理世界。

"如果你相信深度学习,深度学习就信你。"

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

川渝视觉
2026-04-17 22:13:14
1949年李讷在课堂上指出老师错误,老师恼羞成怒:把你爸爸叫来

1949年李讷在课堂上指出老师错误,老师恼羞成怒:把你爸爸叫来

萧竹轻语
2025-08-04 11:45:40
统一台湾后需多少驻军?香港人口753万,驻军约6000人,澳门人口68万,驻军不足千人,台湾面积是香港的32倍,保守估计,台湾驻军需6-8万人

统一台湾后需多少驻军?香港人口753万,驻军约6000人,澳门人口68万,驻军不足千人,台湾面积是香港的32倍,保守估计,台湾驻军需6-8万人

扶苏聊历史
2026-09-10 15:51:48
49岁钟丽淇被送ICU抢救,老公回应语气紧张,一众友人赶赴医院!

49岁钟丽淇被送ICU抢救,老公回应语气紧张,一众友人赶赴医院!

娱乐团长
2026-09-11 16:21:53
本田急了!骂日本供应商: 你降成和中国一样低的价格, 我能不买

本田急了!骂日本供应商: 你降成和中国一样低的价格, 我能不买

兵鉴史
2026-09-10 22:31:46
1935年红军成功拿下腊子口,偶然发现一处仓库,当将士们踏入仓库内部,眼前的景象让全军将士纷纷落泪

1935年红军成功拿下腊子口,偶然发现一处仓库,当将士们踏入仓库内部,眼前的景象让全军将士纷纷落泪

磊子讲史
2026-09-08 17:30:43
2027年十二生肖运势详解,每个生肖都要注意哪些?全帮你整理好了

2027年十二生肖运势详解,每个生肖都要注意哪些?全帮你整理好了

千秋文化
2026-09-07 20:36:09
日本来中国签证费,最高暴涨7倍多,官方解释:中国对日对等反制

日本来中国签证费,最高暴涨7倍多,官方解释:中国对日对等反制

蓝星杂谈
2026-09-11 17:45:28
莫言:永远不要期望一个没有血缘关系的人,能站在你的角度替你考虑|成年人最大的清醒

莫言:永远不要期望一个没有血缘关系的人,能站在你的角度替你考虑|成年人最大的清醒

杏花烟雨江南的碧园
2026-07-27 11:15:03
为什么不能联合打以色列,答案很简单:不是没人想打,是没人敢打

为什么不能联合打以色列,答案很简单:不是没人想打,是没人敢打

明天后天大后天
2026-09-11 19:51:36
巴萨为何盯上阿尔特塔?弗里克没有下课危机,俱乐部已经开始布局

巴萨为何盯上阿尔特塔?弗里克没有下课危机,俱乐部已经开始布局

无月可归辛
2026-09-11 21:43:16
森林狼队内起小分歧!迪文琴佐直言,看不惯鲍尔赤膊训练

森林狼队内起小分歧!迪文琴佐直言,看不惯鲍尔赤膊训练

涵有话说
2026-09-11 09:53:41
姜文女儿近况:产后几天拿红带绑婴儿爬山,素颜生图面色红润能打

姜文女儿近况:产后几天拿红带绑婴儿爬山,素颜生图面色红润能打

娱圈办事处
2026-09-11 20:14:02
3场0胜+2将清空社媒,英超首位下课主帅要来了?

3场0胜+2将清空社媒,英超首位下课主帅要来了?

竞技风云录
2026-09-11 21:02:31
儿子考进985大学摆庆功宴,13桌只来了2桌人,全家决定退出家族群

儿子考进985大学摆庆功宴,13桌只来了2桌人,全家决定退出家族群

兰姐说故事
2025-07-10 05:00:03
2-1!C罗被“打脸”,刚指挥队友“排布人墙”,后脚就被直接破门

2-1!C罗被“打脸”,刚指挥队友“排布人墙”,后脚就被直接破门

汪星人哟
2026-09-11 15:29:36
封面故事 | 孙怡 在格鲁吉亚,遇见松弛的自己

封面故事 | 孙怡 在格鲁吉亚,遇见松弛的自己

精品购物指南
2026-09-10 19:18:38
预制菜风波仅1年,西贝贾国龙再传坏消息,罗永浩的话有人信了

预制菜风波仅1年,西贝贾国龙再传坏消息,罗永浩的话有人信了

阿雹娱乐
2026-09-09 17:00:26
玄学提醒:如果一个人还在穿着10年前的衣服,只说明几个问题

玄学提醒:如果一个人还在穿着10年前的衣服,只说明几个问题

木言观
2026-08-01 13:58:35
翻车了?知名男星推荐上海面馆被吐槽,本人发声为美食“正名”!

翻车了?知名男星推荐上海面馆被吐槽,本人发声为美食“正名”!

上观新闻
2026-09-11 16:45:15
2026-09-11 21:59:00
可达鸭面面观
可达鸭面面观
不看新闻就头疼,看了更疼
1738文章数 158719关注度
往期回顾 全部

科技要闻

苹果折叠屏比小米华为贵5000元,该怎么选

头条要闻

女演员被指卖韭菜盒子 此前曾称被前夫坑到负债600万

头条要闻

女演员被指卖韭菜盒子 此前曾称被前夫坑到负债600万

体育要闻

37岁还能场场进球,还能翻跟头!

娱乐要闻

黄晓明直言帮太多白眼狼,杨颖遭殃

财经要闻

女装“玖姿”母公司跨境贸易迷局:安正时尚说谎了吗?

汽车要闻

买菜车也有小乐趣 风云T7不止是台合格家用SUV

态度原创

亲子
游戏
艺术
家居
健康

亲子要闻

宝蓝带着新玩具去公园玩,认识了新朋友,来看看是谁吧~

外媒批评《漫威金刚狼》的设计侮辱玩家的智商

艺术要闻

费欣画自家闺女,拍了330多万!

家居要闻

2026建博会(广州) 公装联探展交流活动

手脚发麻口齿不清?也可能是中风!

无障碍浏览 进入关怀版