网易首页 > 网易号 > 正文 申请入驻

三位具身大佬WAIC 2026谈:世界模型如何让机器人“看懂”现实世界?

0
分享至



作者 | 山竹

出品 | 锌产业

如果说这几天国内最热的地方,莫过于上海;

如果说这几天国内最热闹的地方,同样也是上海。

WAIC 2026的开幕,似乎让本就炎热的上海,温度又升了几度,温度直逼四十度,不过这也不影响大家对这个国内一年一度的AI第一展的热情。

就在开展后,还有朋友来问我们,是否有渠道能够搞几张票,当然,WAIC 2026门票早已一票难求。

我们第一天逛展的感受是,如今的人工智能中,具身智能已经占据了绝对的半壁江山,且不说整个展馆的“广场”部分,核心展示的就是具身机器人,宇树的机甲机器人GD01更是被摆放到了进门的主视觉位置。



更重要的是,WAIC 2026直接拿出了一整个展馆给了具身机器人,相关企业数量更是从去年的80多家激增到了200多家。

现场人山人海,展出的机器人同样“人”山“人”海。

而就我们和现场企业聊下来发现的一个现象是:

大部分机器人团队都从技术研究者,走向了实用主义者。

你说具身智能技术已经达到广泛商用了么,其实也没有,就连“强化学习之父”理查德·萨顿(Richard Sutton)在WAIC 2026现场的演讲中都有指出,当前以大语言模型为代表的AI尚处于非常早期阶段。

但是,无论是资本的考量、创业团队的考量,还是客户和市场的考量,都已经更倾向于开始思考,究竟能用具身机器人干点啥。

尤其是用那种切实能够解决问题的逻辑,来干点啥。

于是,我们看到形形色色的基于人形机器人的衍生硬件形态开始“泛化”,这些也正在成为具身机器人落地应用的主力军。



不过,如果要问大家最关心的技术问题是什么?

那一定还是机器人的大脑,尤其是如何用好世界模型,做好具身机器人的通用大脑,我们在WAIC 2026大会主论坛上,就听到了一场关于具身智能世界模型的对话。

对话嘉宾分别是:

智元合伙人、觅蜂科技董事长兼首席执行官姚卯青,

它石智航创始人兼首席执行官陈亦伦,

亮源新创创始人兼首席执行官姜旭。

前两家是国内当下将具身数据做到了头部的团队,后者则是OpenAI算法负责人2024年创业做陪伴机器人的一个明星团队。

要知道,今年的陪伴机器人热度空前,而陪伴机器人对于大脑的需求也更甚。

我们就国内具身领域这三位头部“大脑”关于“具身大脑”的对话,进行了不改变原意的总结和梳理:

01 能力:预测下一个状态,预测下一个动作

问:世界模型究竟应该是什么样的?哪个能力是真正世界模型不可缺少的?

姚卯青:我们认为世界模型和它最早出现在强化学习领域的定义有一定关系,核心的本质是能够理解物理世界的运行规律的AI系统。

基于这样的AI系统,最重要的功能能够预测世界的下一个状态,而不是简单地渲染世界的下一个画面或内容。

要具备这样的能力,需要原生掌握以下四项技能:

第一,必须理解多模态,能够接受现实世界中各种种类的信息,并把它融合在一起去理解环境的变化;

第二,能够掌握物理规律,包括动力学、对空间的理解等;

第三,必须有一定的因果推理能力,而不是简单地模拟画面发生的序列,例如,必须理解作用了一个力,这个物体才被移动;

第四,需要具备一定长时间、长程的推理能力,而不会在这个过程中崩坏。

陈亦伦:我们自己定义具身智能领域的世界模型是人工智能模型,可以非常高频的联合预测action(动作)和state(状态),一般机器人学和自动驾驶领域比较喜欢用这样的定义。

相较VLA而言,VLA是神经网络告诉机器人下一个动作是什么,应该做哪个动作;

但世界模型会进一步告诉你,如果你做了这个动作,这个世界的状态会发生什么样的改变,甚至还会告诉你这样的改变是不是大家想要的,这就构成了经典的强化学习的三要素:state、action和reward。



这种方法的好处是可以灵活地结合监督学习和强化学习,可以让整个任务产生非常高的可完成度和成功率。

在机器人和自动驾驶涉及到物理世界交互的时候,成功率完成度、任务完成的质量很重要,所以神经网络不应该只是给action,而应该给action背后的东西在上面。

从算法的角度来说,世界模型是在预测action和state联合分布,如果说我们把这个联合分布边缘化取其中一部分,就可以把action分支取出来,它就会自动形成视觉-动作模型,或者VLA模型,是更加完备的一套技术框架。

姜旭:我认为世界模型核心要完成的任务、预测的信息分成两部分:

第一部分,预测世界的下一个状态,或者对于视频生成模型来说,是预测下一帧;

第二部分,预测下一个动作。

如果在这两部分信息里非要做取舍的话,那我认为预测下一个动作更重要,要比预测下一个状态重要得多,因为我们训练世界模型最终的目的是用它来控制机器人。

过去几年大模型的发展,本质上是通过“模仿人”最终实现了“超越人”。

过去几十年的互联网发展,在互联网上出现了大量人的文本,大语言模型通过模仿文本能够学会人的能力,最终逐步完全超越人的能力。

我们认为世界模型/具身智能最有可能能够走通的路径应该是类似的,应该去大规模模仿人和超越人。



但我们看到人在物理世界里做各种动作的时候,事实上并没有花很多时间去预测世界的下一个状态,我们都是非常直觉、非常下意识地去做出了很多动作,但动作的前提是要有充分的观察、充分的视觉信息输入。

所以我认为状态应该被感知的,动作应该被预测的,最终,世界模型的突破需要产生大量从状态到动作的数据对灌给大模型。

同时我也想指出一点,今年上半年世界模型突然变得非常非常火爆,但是我认为,仅仅靠世界模型是无法实现通用具身智能。

我们看到,过去几年所有发生智能大爆发的领域都需要至少有三次范式的突破,这三次范式的突破分别是:

可规模化的预训练、可规模化的对齐、可规模化的商业化和部署。

比如说语言模型、ChatGPT、代码模型、自动驾驶,三个范式的突破对所有领域都是适用的,我认为世界模型、具身智能也不例外,具身智能不过是新的多模态大模型的问题。

02 瓶颈:真实物理交互数据仍不足

问:各位觉得当前我们看到的世界模型和我们理想中的世界模型,最大的差距是什么,技术上最大的瓶颈在哪里?

姜旭:世界模型、具身智能最需要的能力是基于对世界的观察,基于视觉的感知里生成下一步动作,今天主流的世界模型框架都没能很好地同时完成这两件事。

这两件事情本质上是相冲突的,感知能力本质是理解能力,生成能力本质是重建能力。

在过去几年里,多模态大模型里很多顶尖学者希望通过一套优美的架构把生成和理解两件事情合并到一起。



经过几年的尝试,我认为这个领域大家已经达成共识,这件事情是不可能的,因为生成和理解需要非常不同的表征。

今天我们看到的世界模型架构恰恰碰到了类似的问题,用同样的方式来处理对状态的预测和对动作的预测,非常难同时做到这两件事情。

主流架构或者偏向于生成,或者偏向于理解,这一点也是亮源通过架构和数据上的创新集中解决的问题。

陈亦伦:我认为最大的问题是,现在缺乏大规模可以用来做真正意义上物理世界模型训练的数据。

因为视频对于物理世界不是完备性数据,对于机器人、自动驾驶角度而言是几何跟语义,是非碰撞系统。

机器人非常重要的价值体现是操作,操作的所有东西都是接触系统,物理信息既要视频,也脱离不开基本的物理量,包括力、接触、柔性等。

视频能提供的是几何信息,单纯看一段视频是发现不了牛顿第二定律的,因为能通过视频感受到位置、加速度,但是质量和力通过视频是感受不到的。



我们认为,大规模的训练数据需要具备以下三个条件:

第一,物理世界AI的模态要齐全,除了视频之外,需要有力、有触觉,这些是基础;

第二,要训练一个action和state高频交互的世界模型,这种数据要不断通过action改变state,或者不断改变世界、不断干活儿,几何数据不足以训练一个高交互强度下的世界模型;

第三,既然要学真实世界的规律,整个数据要来源于真实场景、真实数据、真实任务,这样大量的数据才能训练出来。

这样的数据的数量级大概需要多少呢?

以我们之前比较熟悉的自动驾驶为例,一般来说,纯视频数据训练一个工业级可用的自动驾驶系统,这个版本的非碰撞物理AI大概需要100万个小时。

我们认为,具身智能要构建更复杂的物理规律需要1000万个小时,需要一些崭新的技术范式来做到这一点。

姚卯青:今年世界模型核心展现出来的能力还是偏视觉生成,大部分架构及工作是基于视频生成类的预训练模型,在此基础上用具身或物理世界的数据做后训练。

这会存在两个问题:

第一,数据分布和机器人领域要掌握的对未来状态预测、对技能和动作的规划不一样。

从互联网搜集的内容有些是娱乐性质的,有些甚至是创作性质的,反而是反物理规律的。

如果我们要把它严肃地应用到具身智能场景中,一定需要原生构建这类真实的数据,必须要使接触很丰富,其次要具备各种各样的原子动作,推、拉、拧、拽,还要有很多和不同形态物体交互的过程,柔性的、带摩擦力的、流体的。



这些数据互联网上比较少,而且通过现有物理引擎很难模拟出来。

第二,我非常同意陈亦伦说的数据规模是现在很大的挑战,要达到更高阶的智能,像人一样判断对很多物理常识的预测,甚至要到亿小时级别。

现在主流大语言模型的预训练数据,国际领先的团队都用到了100万亿Token,等效正常英语语速说话100亿小时。

语言是信息密度高且噪声很低、所有话基本都有意义的系统,尚且要100亿小时的说话内容;

对于物理世界且多模态、信息冗余很大,很多都是帧与帧之间的重复信息,或者是一帧之内背景的无效信息,必然也需要亿小时以上来自于真实世界的数据才能很好地掌握对系统的了解。

03 场景:工业o家庭?

问:只看未来三年,大家觉得具身智能在哪些场景能够真正实现比较好的落地应用?

姚卯青:短期之内一些高频、刚需、环境可控、确定性强,并且具备一定容错空间的场景相对容易落地,通俗来讲就是“简单场景、简单任务”。

围绕这样的定位,智元逐步开展很多实际应用场景落地工作,上个月我们做了全网6天的直播,是产线的真实计时,每天十几个小时的工作中有一整个工段的机器人编队完成了6万多件产线的操作,整体能达到99.99%的成功率,和人类近似的节拍。

相信行业内会出现越来越多这样确定性、刚需任务用到具身机器人。



其它更开放的环境和任务,像家庭,应该需要大家构建更加通用可泛化的能力,逐步解锁。

陈亦伦:我同意卯青的观点,这个答案对我们来说是“用脚投票”的,我对制造业非常乐观的原因有三个原因:

第一,制造业的场景对于具身智能非常适合且友好。

首先制造业数据浓度非常高,制造业里可以在一个地方获得大量的数据,其次这个场景和Coding很像,整个任务有没有完成有明确的界定标准,此外,这个场景里有大量人类视角数据,制造业整个场景从工种来分也非常丰富。

这些先决条件对于打造相对友好的具身智能框架是非常友好的场景。

第二,从产业分布特点来看,中国制造业在全球范围内拥有最好、最集中、最丰富的场景。

如果说数字世界是由Coding来组成,那物理世界就是由制造组成的,所以Coding AI和制造领域的Physical AI某种程度上可以划等号关系。

第三,我们公司的技术路径是Foundation AI+APP。

我们会致力于原生基座模型开发,但是我们非常看重全栈技术一定要在真实场景、真实应用中产生真实的价值,这样技术才可以得到真实场景问题中的有效牵引,从制造场景可以得到非常多的牵引。

在这次展会,我们也把汽车线束、流水线1:1带到了展台上,让大家可以看到物理AI是怎么在真实场景中真落地、真干活儿的。

我们也和汽车行业国内外的龙头企业展开了合作,共同推动千台级别的工业具身机器人在大规模集群的部署落地。



在这件事上,整个节奏是可控的,而且整个前景是广阔的。

姜旭:我们认为具身智能不过就是多模态大模型的延伸,所以具身智能的商业化和落地规律应该充分参考过去几年大模型应用落地的规律。

我自己非常有幸很早(2019年)加入了OpenAI,在OpenAI四年的时间经历了大语言模型三次范式开创,在其中也参与和推动了一系列模型和算法的研发。

首先大模型突破就是要有非常强大的预训练,在预训练模型的基础之上再做强化学习、完成对齐。

今天的AI时代红利本质上是智能供给的红利,不是通过产品发现,找到了一些之前没有被满足的需求,而是经过过去几十年互联网积累下来的大量数据,再叠加上过去几年在算法上的突破,把这些海量数据变成了智能,最终具身智能能够先发挥作用。

而具身智能的智能水平能够发生突变的领域,一定是在原本互联网上积累了大量数据的领域。

如果看一下互联网哪些数据可以用来做集成训练,很显然就是全互联网的视频数据。

大家刚才也都提到了需要千万小时、亿小时,但互联网的视频数据有多少呢?

事实上有100亿小时。

刚才姚总提到了噪音,当然噪音对预训练来说完全不是问题,预训练可以容忍非常多的噪音,这也是亮源从创立开始重点在攻克的研发路径。

回到您的问题,互联网上的视频更多是人类日常生活场景中的数据,大家平时能够把手机掏出来拍一下的场景。

我认为更有可能是在这些场景里先去实现能力的跳变,但能力跳变之后这个过程没有完,最终,初期能够实现大规模商业化落地的场景,还需要一个高容错率的场景。

这是因为大模型的技术特点天然具备泛化性,阅读了互联网海量的数据之后,在出生的第一天,训练好的第一天,就能够在所有的问题上都做一些场景,所有的场景里多少能够发挥一些作用,但它不擅长的是精确性和可靠性。

今天所有成功的AI应用,在早些年都是找到了高容错率的落地场景。

例如早些年的ChatGPT有非常严重的幻觉问题,但是它的定位事实上是一个助手;

并不负责交付,早些年的代码模型也是一样的,只是提示接下来几个单词怎么写,由程序员做选择;

今天的视频模型大家使用的方式主要是抽卡,我认为具身智能更有可能在这种场景先去爆发。

我们看到的大模型在模型训练上有很多挑战,但是技术路径相对来说是明确的,但是商业落地、为大模型的模型能力找场景是不比技术训练模型更简单的问题。

例如,我的前东家OpenAI在ChatGPT之前和之后都做了大量产品尝试,其中很多是失败的。

我认为,具身智能公司成功率更高的打法是保持开放的心态,做非常广泛的场景探索。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
广东省中山市委书记、市政府党组书记、市长尹念红简介

广东省中山市委书记、市政府党组书记、市长尹念红简介

探秘桂北
2026-11-01 08:21:08
台湾生活水准相当于大陆什么水平?这么说吧,台湾的生活水准,大致介于大陆二线城市和东部沿海发达城市之间

台湾生活水准相当于大陆什么水平?这么说吧,台湾的生活水准,大致介于大陆二线城市和东部沿海发达城市之间

扶苏聊历史
2026-11-02 13:50:13
医学实验图片疑似AI生成?监管部门:正核查是否存在学术不端

医学实验图片疑似AI生成?监管部门:正核查是否存在学术不端

新京报
2026-11-17 22:30:31
清华讲台,翁帆还没开口,衣服先替她说了话!她一出现,目光就被那身打扮勾住了,这样的翁帆,确实让人移不开眼!

清华讲台,翁帆还没开口,衣服先替她说了话!她一出现,目光就被那身打扮勾住了,这样的翁帆,确实让人移不开眼!

财经要参
2026-09-30 19:39:44
盘点网友们分享的亲身经过的奇闻逸事,网友:有些事没法解释清楚

盘点网友们分享的亲身经过的奇闻逸事,网友:有些事没法解释清楚

另子维爱读史
2026-11-18 20:46:42
上海大学出手了!一名研究生被拟退学,校方公布的原因值得引起重视!

上海大学出手了!一名研究生被拟退学,校方公布的原因值得引起重视!

凯旋学长
2026-11-18 22:22:41
1968年,邓朴方身受重伤陷入绝境,北大王凤梧不顾重压救他,在邓公回归后又是怎么回报他的?

1968年,邓朴方身受重伤陷入绝境,北大王凤梧不顾重压救他,在邓公回归后又是怎么回报他的?

唠叨说历史
2026-11-13 14:31:10
美民主党抵制参院商务委员会投票,FCC共和党提名独自推进

美民主党抵制参院商务委员会投票,FCC共和党提名独自推进

时光慢旅人
2026-11-19 00:02:21
网上爆火的山姆包到底多好用?我们替你测了个遍

网上爆火的山姆包到底多好用?我们替你测了个遍

酷玩实验室
2026-11-18 10:49:05
高市早苗要去中国了,日网民叫她千万别做这些事

高市早苗要去中国了,日网民叫她千万别做这些事

这里是东京
2026-11-17 19:18:03
马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

恒星文娱
2026-11-17 23:01:29
国安旧将索里亚诺谈加盟中超:那时我31岁了,要为自己考虑了

国安旧将索里亚诺谈加盟中超:那时我31岁了,要为自己考虑了

懂球帝
2026-11-19 00:19:11
一场2-2验出国足头号庸才,6.1分全队垫底,仅踢半场被邵佳一换下

一场2-2验出国足头号庸才,6.1分全队垫底,仅踢半场被邵佳一换下

小火箭爱体育
2026-11-18 08:38:09
普京抵华前一天,270米克里米亚大桥桥面被炸塌,乌克兰选在普京参加深圳APEC峰会前一天行动

普京抵华前一天,270米克里米亚大桥桥面被炸塌,乌克兰选在普京参加深圳APEC峰会前一天行动

蓝星杂谈
2026-11-18 09:59:46
曾收到5000份男友申请,“全球最抢手女友”在美国被铐走

曾收到5000份男友申请,“全球最抢手女友”在美国被铐走

启迪你的思维
2026-11-18 17:58:04
市场几乎清零!人们为何不再需要,灵活便宜的小型油车了?

市场几乎清零!人们为何不再需要,灵活便宜的小型油车了?

云霄纪史观
2026-11-18 01:57:05
马化腾:腾讯正在面临生死存亡

马化腾:腾讯正在面临生死存亡

科技头版Pro
2026-11-18 14:21:08
假山假景假脸,央视《多喜一家人》爆火,打脸多少流水线年代剧

假山假景假脸,央视《多喜一家人》爆火,打脸多少流水线年代剧

零号情报局
2026-11-17 19:56:24
两桶油急的是:油价他们说了不算,想降价不能降,销售量大幅减少

两桶油急的是:油价他们说了不算,想降价不能降,销售量大幅减少

侃故事的阿庆
2026-11-18 06:41:18
腾讯搬走后,科兴物价彻底崩了,一杯咖啡从25降到15

腾讯搬走后,科兴物价彻底崩了,一杯咖啡从25降到15

流苏晚晴
2026-09-18 14:24:54
2026-11-19 01:08:49
锌产业 incentive-icons
锌产业
用技术范式,给未来一个解释。
269文章数 34关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
家居
时尚
游戏
数码

艺术要闻

洛阳发现唐代墓志,将魏碑、唐楷精髓融于一体,比欧颜柳赵的字更耐看!

家居要闻

2026建博会(广州) 公装联探展交流活动

穿好“长大衣”,这8个细节很重要!

《GTA6》首个BUG出现 博主怒喷“2077首发”重演

数码要闻

铭凡5L台式机T5 Max-388上市:48GB + 1TB,到手价9699元

无障碍浏览 进入关怀版