网易首页 > 网易号 > 正文 申请入驻

机器人的终局:英伟达Jim Fan宣告VLA时代结束,WAM登场

0
分享至

Jim Fan是英伟达机器人与AI研究组(GEAR Lab)负责人,过去几年主推的GR00T人形机器人基础模型用的是VLA(Vision-Language-Action,视觉-语言-动作)架构。他刚在Sequoia AI Ascent 2026上做了一场20分钟的演讲,主题叫《Robotics' End Game》,第一件事就是宣布VLA路线过时——包括他自己半年前还在推的GR00T。


取而代之的新范式叫世界动作模型(WAM),代表作是英伟达2月发布的DreamZero。他把这套思路叫"底层同构":复制LLM(Large Language Model,大语言模型)走过的三步(预训练→对齐→强化学习),用视频世界模型替代语言模型,用人类第一人称视频替代遥操作数据,最终在2040年前让机器人自己设计和制造下一代自己。他对此有95%的把握。

要点速览

VLA路线落幕:Jim公开宣告VLA路线过时,新范式叫世界动作模型(WAM),代表作是DreamZero(140亿参数)。

告别遥操作数据:遥操作物理上限低,预测一两年内降到接近0,被传感化人类数据取代。

神经缩放定律:EgoScale用21,000小时人类第一人称视频预训练,团队发现了灵巧操作的神经缩放定律(R² = 0.998)。

神经仿真器:Dream Dojo用44,000小时人类视频训练出一个完全绕过物理引擎的神经仿真器。

终局倒计时:给出2040年完成机器人终局的预测(物理自动研究),置信度95%。

从DGX-1签名到"底层同构"

Jim用一段往事开场。2016年夏天,就在OpenAI当时的办公室,黄仁勋穿着标志性皮夹克,抱着一块大金属托盘走进来,上面写着:"致Elon和OpenAI团队,致计算和人类的未来。"那是全球第一台DGX-1。

Jim当时是OpenAI的第一个实习生,赶紧排队去上面签了名。"那时候我完全不知道自己在签什么。"旁边一起签的还有Andrej Karpathy。这台机器现在在Computer History Museum收藏。

于是他做出了一个决定:抄作业,换个名字,叫"底层同构"(the Great Parallel)。把"模拟字符串的下一个状态"换成"模拟物理世界的下一个状态",通过动作微调收敛到机器人需要的那部分,最后让强化学习走完最后一公里。

VLA怎么了:参数都堆在了语言上

过去三年,机器人领域的主流架构是VLA(Vision-Language-Action,视觉-语言-动作模型)。英伟达自家的GR00T和Physical Intelligence的π0都属于这个类别。

Jim指出了结构性问题:其实这些模型该叫LVA,因为参数大头全堆在语言上了。语言是一等公民,视觉次之,动作只能垫底。

VLA擅长编码知识和名词,不擅长物理和动词。重心放在了不对的地方。

他举了RT-2原始论文里那个经典demo:让机器人把可乐罐推到Taylor Swift的照片旁边。模型没见过Taylor Swift,但能泛化过去。问题是,泛化的是名词(能认出Taylor Swift),而不是动词(该怎么推、找什么角度、用多大力)。

从AI垃圾视频到DreamZero

VLA不是答案,那下一个预训练范式是什么?结果发现是视频模型,它们在内部学会了模拟物理世界的下一个状态。

怎么把这些世界模型变有用?做动作微调。把"所有可能的未来"这种叠加态,收敛到一条对真实机器人有意义的动作轨迹上。

英伟达的答案叫DreamZero。这是一种新型策略模型,在执行动作之前先往未来"做梦"几秒钟,然后根据梦境行动。DreamZero同时解码下一帧画面和下一步动作。在这里,视觉和动作第一次真正成为了"一等公民"。

Jim坦率地承认DreamZero目前做不到每个任务都100%可靠。"它大概相当于GPT-2的阶段,方向对了,但表现还不够稳定可靠。"他给这个新架构起名叫WAM(World Action Models,世界动作模型)。

数据革命:从遥操作到"机器人不用参与的数据采集"

过去三年是遥操作(teleop)的黄金时代。但遥操作有一个硬上限:每台机器人每天24小时。

"我说一天24小时,那是骗自己的。实际一天能干3小时就不错了,还得看当天的'机器人之神'赏不赏脸——毕竟这帮机器天天闹脾气出毛病。"

怎么破局?把机器人的末端执行器直接戴在人手上,直接采集数据,完全绕过机器人本体。

英伟达方案是DexUMI,一种外骨骼装置。用外骨骼数据训练出的机器人策略可以完全自主运行,训练数据里没有任何遥操作数据。

EgoScale:21,000小时人类视频和缩放定律

英伟达搞了一个叫EgoScale的数据集,包含21,000小时人类第一人称视频,涵盖日常家务、办公室工作、工业操作等场景。

团队发现了灵巧操作的神经缩放定律:随着预训练数据量增加,模型在下游任务上的表现呈线性提升,拟合度R² = 0.998。

这意味着什么?机器人学习也遵循和LLM类似的缩放规律——只要数据够多,模型就能持续变强。

Dream Dojo:完全绕过物理引擎的神经仿真器

传统机器人训练需要在仿真环境里一遍遍试错,但仿真器和真实世界总有差距。

Jim团队的解决方案是Dream Dojo:用44,000小时人类视频训练出一个完全基于神经网络的世界模型,彻底绕过传统物理引擎。

这个神经仿真器能生成逼真的物理交互视频,机器人在"梦境"里训练,然后零样本迁移到真实世界。

2040年终局:机器人自己造下一代

Jim给出了一个大胆预测:2040年前,机器人将完成"物理自动研究"——也就是机器人自己设计和制造下一代机器人。他对此的置信度是95%。

路径已经很清晰:预训练(世界模型)→对齐(动作微调)→强化学习(自我改进)→自动研究(机器人造机器人)。

这和LLM的发展轨迹几乎一模一样。唯一的区别是,LLM处理的是文本,WAM处理的是物理世界。

"如果你相信深度学习,深度学习就信你。"

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
注意!商业地产到期需补缴巨款!

注意!商业地产到期需补缴巨款!

樱桃大房子
2026-09-09 12:12:20
女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

看世界的人
2026-08-07 09:22:50
粟裕没当上元帅的真实原因:除了毛主席,高层几乎没人主动提他

粟裕没当上元帅的真实原因:除了毛主席,高层几乎没人主动提他

呼呼体坛
2026-09-08 15:50:46
郭德纲再迎噩耗!军媒出手,3句话定死性质,曹云金又扯出旧恩怨

郭德纲再迎噩耗!军媒出手,3句话定死性质,曹云金又扯出旧恩怨

悦君兮君不知
2026-09-11 04:48:31
秋天,中老年多吃蒸菜身体好!这3道蒸菜,清淡少油,好吃不上火

秋天,中老年多吃蒸菜身体好!这3道蒸菜,清淡少油,好吃不上火

江江食研社
2026-09-08 08:40:46
2026年养老金计发基数陆续公布,9月后,新退休人员都能重算补发吗?

2026年养老金计发基数陆续公布,9月后,新退休人员都能重算补发吗?

碎月导师
2026-09-11 14:27:41
生育大局已定?不出意外的话,明年中国新生人口将迎来3大变化

生育大局已定?不出意外的话,明年中国新生人口将迎来3大变化

你在偷看谁
2026-09-10 21:09:48
医生发现:老人若从来不吃肥肉,用不了多久,身体或有4大转变

医生发现:老人若从来不吃肥肉,用不了多久,身体或有4大转变

读懂世界历史
2026-09-11 20:34:47
黄晓明自曝帮了太多"白眼狼",前妻和前女友居然轮番登上热搜,全网炸了:他到底在内涵谁?

黄晓明自曝帮了太多"白眼狼",前妻和前女友居然轮番登上热搜,全网炸了:他到底在内涵谁?

美芽
2026-09-11 20:14:57
医生调查发现:癌症患者若每天睡午觉,不出半年,或有这3大变化

医生调查发现:癌症患者若每天睡午觉,不出半年,或有这3大变化

荆医生科普
2026-09-11 17:50:16
《抓特务》上线流媒体了,为何会迎来口碑翻转?

《抓特务》上线流媒体了,为何会迎来口碑翻转?

白羽居士
2026-09-11 13:42:04
王凯谈近几年接戏不多的原因:不是没戏拍,而是主动选择藏起来

王凯谈近几年接戏不多的原因:不是没戏拍,而是主动选择藏起来

娱说瑜悦
2026-09-10 20:12:25
李凯尔再请缨:已和男篮谈过,渴望参加世界杯!但不适配仍存疑!

李凯尔再请缨:已和男篮谈过,渴望参加世界杯!但不适配仍存疑!

篮球资讯达人
2026-09-11 13:44:52
员工炸锅!曝比亚迪疑似取消利润奖

员工炸锅!曝比亚迪疑似取消利润奖

鞭牛士
2026-09-11 15:09:06
深圳多名街道主官履新:11人任副区长,其中8人跨区履新

深圳多名街道主官履新:11人任副区长,其中8人跨区履新

南方都市报
2026-09-11 19:08:07
总额超千万!澳门十三皇宫一次性购入13辆尊界S800典藏大观

总额超千万!澳门十三皇宫一次性购入13辆尊界S800典藏大观

快科技
2026-09-09 12:06:23
彻底撕破脸!李在明背弃承诺对华疯狂施压,中国大使馆强硬回击!

彻底撕破脸!李在明背弃承诺对华疯狂施压,中国大使馆强硬回击!

清衣渡a
2026-09-11 11:29:50
狗的哪个部位最脆弱?训狗师傅告诉你:遇到恶犬扑来,千万别用脚踢,那样会让疯狗越咬越狠,记住以下几点,三两招就能制服疯狗!

狗的哪个部位最脆弱?训狗师傅告诉你:遇到恶犬扑来,千万别用脚踢,那样会让疯狗越咬越狠,记住以下几点,三两招就能制服疯狗!

扶苏聊历史
2026-09-11 16:53:42
难怪中日不能交战!宝岛退将曾言:日本若介入台海,30分钟内瘫痪

难怪中日不能交战!宝岛退将曾言:日本若介入台海,30分钟内瘫痪

尘世闲云
2026-08-19 18:05:19
打假网红「铁头」一审获刑八年

打假网红「铁头」一审获刑八年

鞭牛士
2026-09-11 16:22:36
2026-09-11 21:19:00
可达鸭面面观
可达鸭面面观
不看新闻就头疼,看了更疼
1738文章数 158716关注度
往期回顾 全部

科技要闻

苹果折叠屏比小米华为贵5000元,该怎么选

头条要闻

打假网红"铁头"获刑8年:以曝黑料威胁向主播索要黄金

头条要闻

打假网红"铁头"获刑8年:以曝黑料威胁向主播索要黄金

体育要闻

37岁还能场场进球,还能翻跟头!

娱乐要闻

黄晓明直言帮太多白眼狼,杨颖遭殃

财经要闻

女装“玖姿”母公司跨境贸易迷局:安正时尚说谎了吗?

汽车要闻

买菜车也有小乐趣 风云T7不止是台合格家用SUV

态度原创

房产
艺术
本地
教育
公开课

房产要闻

时隔7年,绿地海南再拿地!

艺术要闻

美国秘藏的一部《金刚经》!这才是楷书“金字塔尖”,欧颜柳赵也比不过

本地新闻

Onestage x 乐华娱乐暑期巡回选拔2026

教育要闻

我们的“十五五”丨未来五年,讲台上下都在变

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版