网易首页 > 网易号 > 正文 申请入驻

从视频到世界模型,生数科技在造具身智能的通用大脑

0
分享至



出品 | 创业最前线

作者 | 许一心

编辑 | 闪电

美编 | 邢静

审核 | 颂文

2026年被很多人称作世界模型元年

它出现的频率够高,从硅谷到中国,从7月的世界人工智能大会到8月的世界机器人大会,这个词的热度异乎寻常,资本也在以十亿百亿的规模涌进来。

这个行业里充满争论。原因之一是:至今没有统一的标准。视频生成叫世界模型,环境仿真也叫世界模型,多条技术路线互不相让,连“什么样的模型才配称通用”都没有共识。

但如果连争论都没有,遑论元年?

争论之外,也有企业在特定路线上已经走得相当远,例如国内的生数科技。它的先发优势不只在某项参数,更在于罕见地把“数字世界生成”与“物理世界行动”两端,拧成了一个互相供血的闭环。

1、最有话语权的一批人,为什么集体换了方向

所谓元年,总有些特殊的动向,如果把大牛流向、资本规模和研究节奏摆到一起就会发现,走向世界模型是AI行业内部的一部分精英主动发起的路线迁移,而不只是外部炒出来的风口。

他们赌的是同一件事:谁能让机器真正理解物理世界,谁就握住了AI下一程的入口。

最先动身的是杨立昆。这位图灵奖得主、卷积神经网络的奠基人之一,做了十二年Meta首席AI科学家,2025年离开Meta后创办AMI Labs;2026年,AMI Labs完成10.3亿美元融资,投前估值达到35亿美元。他的判断很直接:大语言模型无法真正模拟和预测物理交互

几乎同时,李飞飞的World Labs累计融资超过12亿美元,估值升至50亿美元级别,先后推出MarbleWorld API。巨头也没缺席:英伟达的Cosmos持续开源,谷歌的Genie迭代到可以实时交互,大家都在喊从“预测下一个词”转向“预测世界的下一状态”。





说到底,这次转向的动因不是概念热度,而是大语言模型在物理世界的边界已经被摸到。它的确压缩了语言,可时间、空间、物理因果和动作这些语言之外的东西,它装不下。

而恰恰是这部分,构成了连接数字世界与物理世界的那把钥匙。钥匙打开的那扇大门背后,是所有人都觊觎的物理AI世界。

2、世界模型要压缩什么,又靠什么证明自己

语言之外还有什么需要被压缩,恰恰是理解世界模型的入口。

生数科技世界模型执行负责人王泽远的答案,从一句行业老话讲起——压缩即智能

王泽远解释得更朴素。对物理世界的建模可以细到原子、电子层面的运动;但人生活在宏观世界,用不着追踪每一步里所有微观粒子的变动,很多东西因此可以被压缩掉。



也就是说,世界模型是在找一个最优的压缩方案,压缩对象随之拓展到语言之外的时间、空间、物理因果与动作,不再只答“是什么”,还要答“会产生什么后果”。

但压缩只是起点。更关键的是三项能力如何拧成一体。生数科技创始人兼首席科学家、ACM/IEEE/AAAI Fellow朱军在世界机器人大会上说得很明确:“我们希望构建的,不只是服务于某个任务或场景的专用模型,而是一个能够理解世界、预测未来并采取行动的通用基座模型。”

“通用世界模型不是单一的生成器、模拟器、机器人动作模型或策略模型,也不是这些能力的割裂片段或简单线性串联,而是三种能力耦合在一起的闭环反馈系统,”朱军说。





闭环两个字是重点。行动不只是模型吐出来的结果,它会改变环境、产生新信息,再回流成下一轮的理解与预测。朱军打过一个比方:人学骑车,一开始歪歪扭扭,后来稳了,变的不是肌肉,是脑子里那个“车会怎么倒”的内部模型——摔一次,它更新一次。

至于如何理解和构建世界模型,讨论还远未收敛。李飞飞用渲染器、模拟器、规划器来梳理世界模型的功能;在实现路径上,杨立昆走的是JEPA,生数则从视频生成切入。

其中一个核心分歧是:让AI理解物理世界,一定要显式生成画面吗?

这要看下游任务。据王泽远解释,只做具身其实不用预测那么细——别人每根头发丝怎么动,对执行任务没帮助;但影视制作、游戏渲染就很看重这些。

我问王泽远,视频生成对创业公司是条更重的路,需要堆算力。而杨立昆明确提过,他那套不需要堆砌大量算力。为什么还选重的?

他给的答案很实在:对一家创业公司来说,不光要最小化消耗,更要最小化风险。

谈到杨立昆的技术路线,他并未回避其中的分歧,但最终给出了明确认同。人在脑子里想事情,并不会像素级地重建画面——你想象自家大门,只会想个轮廓,不记得门上每道纹理。在省算力这点上,他直言很支持这种思路。

问题在于成熟度:这条路线目前还很不成熟,要填的算力坑,可能远比视频模型大得多。他仍看好它的潜力,只是觉得需要时间沉淀。

路线尚未收敛,比较也需要坐标。生数在世界机器人大会上提出L1到L5的分级路线,把自己现阶段的实践对应到前三级。词被用滥时,谁先立标准,往往就说明谁跑在前面。



对生数而言,分级是在外部建立坐标,统一架构则是在内部打基础:让理解、预测与行动尽早协同起来,为下一阶段的能力演进积累条件。

3、统一大脑,从视频里长出行动

生数绝不是追逐世界模型的公司里面体量最大、精英人数最多的那个。它值得关注的地方,在于如何把视频与具身两端接起来。而那个互相供血的闭环,具体是怎么搭起来的?下面一项一项说。

起点在2022年9月:团队提出U-ViT架构,比OpenAI的DiT还早三个月,核心成员出自清华人工智能研究院——一上来切入的就是基座模型,而非应用层。

生数对数据的理解也与众不同:视频是数字与物理世界之间最便于规模化共用的数据格式(图像、语言、音频、3D等同样可以共用),只是视频在信息密度与可得规模上都更占优势——机器人采集轨迹时挂着相机,拍的是视频;互联网上的海量素材也是视频,格式相同,只是一个有动作标签、一个没有。



而具身智能最大的痛点,是有动作标签的数据太少。生数的独到之处,是用生成式方法把海量无动作标签的普通视频,变成能训练机器人的“物理世界燃料”。这正是双轨闭环的第一块基石。

这套数据思路,落实到训练上主要分四步:先用互联网视频训出视频基座;再用无动作标签的第一人称数据预训练,建立任务感知与本体认知;然后用带动作标签的真机数据训练动作分支;最后在特定机器人和任务上做后训练。

第一人称数据没有动作标签,怎么训练动作?靠估——用单目深度模型加SLAM(同步定位与建图)估出手部位置。据介绍,估得越准,模型能学到的动作线索也越准。

架构上,生数拿出的是全球首个MoT统一架构,把环境理解、状态预测、动作生成纳入同一个框架,而非几个模块各干各的。最见功力处,是同一个模型能自由切换输出:对创作者吐像素级视频,对机器人吐可执行动作。



数据可以共用之后,下一个问题是:不同模态之间,怎样真正交换信息

聊到这里,出现了采访中最有意思的一处分野。标准说法是,MoT把“理解专家、生成专家、行动专家”统一在一个模型里。我据此提问:三个专家怎么对齐、怎么防止打架。

王泽远却把前提往回拉了一步:这三者是模型具备的能力,并不是架构本身。

真正的MoT,分的是三个模态流——视频、动作和语言。

这不是咬文嚼字:能力是模型对外能干什么,架构是内部真实的组织方式。朱军在世界机器人大会上的表述其实已是如此——为不同模态配专属参数,用共享注意力完成跨模态交互。

所以“用视频教会机器人动作”,不是让机器人先看一段生成视频再照做,而是在训练时,让视频那一侧的学习成果通过联合训练帮助动作那一侧。

这也解释了它与典型VLA路线的区别。VLA(视觉语言动作模型)过去两年是主流做法,主要从观测和指令直接学习动作映射;Motubrain进一步把世界状态变化与动作生成纳入统一建模框架,让模型在生成动作的同时学习“动作会如何改变世界”。

从“反应”多走一步,走向“预见”,是它提高长程任务成功率的思路。

发布会上有个演示很出圈:机器人用漏勺捞丸子,捞空了,自己又捞一次。代码里没写重试逻辑。它怎么知道自己没捞到?

据王泽远解释,机器人不是靠预测下一帧发现自己没捞到,而是在动手那一刻,脑子里已经同时备好了两套后续动作——捞到怎么走、没捞到怎么走。所以无论结果如何,接下来都能衔接。

这些能力,最终还要放到评测中验证。在专测机器人执行能力的RoboTwin 2.0上,Motubrain拿下双场景第一,是唯一在随机环境(打乱光照、位置、干扰物,考的是应变)里平均分仍站上95的模型。

比榜单更贴近落地的是真机泛化。只用五十到一百条同本体样本,就能适配一台新人形机器人。演示中,全程不借助上层规划:插花插到一半被打断能接着完成;左右手异步,倒水的倒水、拿面包的拿面包;水一满,就自动判定任务结束。

适配数据还能不能继续往下压?王泽远认为,下限至少也得有一条,零条并不现实。他打趣说,就算自己和同事换个身体,也得花点时间适应。

当然,从榜单高分到真机上不卡顿,中间还隔着一层工程活儿——这恰是最难被抄走的部分。

世界动作模型每次推理要生成一段动作序列,计算需要时间;等一段执行完再算下一段,机器人就会在动作边界卡顿。解法是提前算、让计算与执行并行,但新旧两段基于不同时刻的观测,衔接处又可能打架。

生数为此试用了六种策略,公开的总结写得相当老实,尤其承认局限的部分:准确的在线延迟估计“目前仍是未解问题”;一旦出现突发障碍物,前缀约束反而会成为干扰。

这也是视频与具身两端能够共享工程经验的地方。两端对实时性的要求虽然不同,但底层都指向同一个问题:如何让大规模生成模型在连续交互中足够快。Vidu S1已经将视频生成推进到最高42 FPS;在机器人一侧,Motubrain完整模型运行频率约5 Hz,Video-to-Action模式最高可达11 Hz。

但打通这个闭环并非没有代价。机器人要考虑端侧部署,尽量让模型跑在本体上,否则延迟和网络都是麻烦;生数同时又想探究智能上限,那意味着加数据、加参数——两件事撞在一起了。

但是,模型一旦大到接近主流视频大模型的那个量级,就几乎没法在机器人上做端侧部署;即便勉强部署,成本也未必划算。

所以生数现阶段的取舍很清楚:先把智能做出来。在具身方向,探索技术上限的分量,明显重过马上规模化商业部署。

这条规模效应的曲线走到哪了?其实,还在非常早期。

要够到大语言模型今天的程度,王泽远认为至少要千万乃至上亿小时的视频——一亿小时,相当于一万多年不间断的画面。

这么大的数据需求,能不能靠仿真补上?他的态度更干脆:“sim2real gap确实还没解决,所以我不用仿真数据。”

4、定价

具身还需要时间,生数却并非在零收入的状态下等待。视频业务已经为这场长期探索提供了现实支撑。

这里得先说清楚Vidu是什么。它是2024年5月生数科技发布的视频生成大模型,也是中国第一个公开发布、对标Sora的同类产品,用的正是前面那套U-ViT架构。

全球上线后,它二十天用户破百万、百天破千万,平台累计生成的视频早已过亿;对中文提示词的理解、多主体一致性、性价比是它的长板。

这门已经跑通的生意,让生数向物理世界延伸时,手里既有技术积累,也有商业基础。视频与具身的联系,由此从数据和架构延伸到了公司的长期投入能力。

在这个底子上,今年2月,生数完成超过6亿元的A+轮;两个月后,近20亿元的B轮由阿里云领投。这样密集的节奏本身,就是资本对它技术路线的连续定价。



(图 / 摄图网,基于VRF协议)

不过,资本给的是远期定价,而技术负责人给出的时间表并不激进:两三年内,零样本泛化的趋势会变得非常明显,真正谈具身落地,大约还要五年。一头是当下的重金下注,一头是五年的耐心——这落差本身,就是这条赛道最真实的写照。

5、结语

生数把视频当成通往物理世界的主要可规模化入口,用统一架构连接数字世界的生成与物理世界的行动,并抢先把这条路写成从L1到L5的刻度。它正在做的,是把行业还在争论的问题,先做成可被检验的事实。



当然,这条路上生数并不孤独——英伟达、李飞飞、杨立昆都在做,国内也有若干家路线相近的公司。区别不在于有没有人同行,而在于走到了哪一步,以及有多少东西经得起第三方验证

采访快结束时,我给王泽远讲了个流传很广的故事。

一家香皂厂的流水线偶尔漏装,盒子出来是空的。企业招来博士后带十几个人,上摄像头、计算机、机械臂,搭了整套视觉分拣系统;另一家乡镇企业,只在出口放了一台大功率风扇——盒子里没香皂、太轻,直接被吹走。

这故事通常用来嘲笑前者用高射炮打蚊子。但我们这里讲的是更深的一层:风扇只解决了那一个场景,什么也没沉淀;那套看似笨重的视觉系统,留下的是一整套可复用的经验。

做基础设施、追求技术上限,本质是选择做重的、难的、苦的事。前提是,这些投入最终能够沉淀为核心竞争力。对这一点生数毫不含糊:不获得核心竞争力,巨头很容易取代你。

取巧没有护城河:取巧谁都会,而巨头取巧的成本比你低得多。

我请王泽远用三四句话概括生数最核心的竞争力。他想都没想:“生数就是一家信奉规模效应的公司,我们不是为了短期利益,是为了长期,这句话就够了。

备注:本文数据主要取材于生数科技提供的相关网页报道,以及采访和提纲沟通中的数据,其余第三方数据很少。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
两名涉嫌参与迪拜绑架遇害案的中国籍男子,在泰国被警方抓获;受害人包括一名土耳其商人、其中国籍女友及一名孟加拉国籍司机

两名涉嫌参与迪拜绑架遇害案的中国籍男子,在泰国被警方抓获;受害人包括一名土耳其商人、其中国籍女友及一名孟加拉国籍司机

台州交通广播
2026-10-23 12:31:02
主张联俄抗中的专家叛变了!去俄罗斯待了7天,回来就换了说法

主张联俄抗中的专家叛变了!去俄罗斯待了7天,回来就换了说法

一身骄傲
2026-09-23 22:27:57
陈建斌自曝分手原因后,54岁的吴越处境堪忧,原来我们被'骗'20年

陈建斌自曝分手原因后,54岁的吴越处境堪忧,原来我们被'骗'20年

小武侃风云
2026-10-22 04:00:01
69岁赵本山现状:三亚养老、每天2包烟、8两酒,活成了杨少华的模样

69岁赵本山现状:三亚养老、每天2包烟、8两酒,活成了杨少华的模样

背包旅行
2026-07-31 18:03:34
确认不打了!广东第一控卫惨遭弃用,或被小陈总交易出去?

确认不打了!广东第一控卫惨遭弃用,或被小陈总交易出去?

绯雨儿
2026-10-23 13:06:30
翼展两米的“猛禽之王”,在十八里长峡被拍到了

翼展两米的“猛禽之王”,在十八里长峡被拍到了

极目新闻
2026-10-22 18:08:51
细思极恐!浙江4名村民17天抽干无底塘,一条鱼没有,却露出24座巨大的神秘石窟

细思极恐!浙江4名村民17天抽干无底塘,一条鱼没有,却露出24座巨大的神秘石窟

徐德文科学频道
2026-10-16 00:22:15
14岁女孩为买手机,主动找两个19岁“大姐头”介绍客人发生关系,一周十多次获利3000元,法院判了

14岁女孩为买手机,主动找两个19岁“大姐头”介绍客人发生关系,一周十多次获利3000元,法院判了

一丝不苟的法律人
2026-10-21 11:16:40
蛇冬眠的时候有多危险?一个专业捕蛇人坦言:90% 的人根本想不到,蛇进入冬眠,它就可能变成老鼠的一顿大餐

蛇冬眠的时候有多危险?一个专业捕蛇人坦言:90% 的人根本想不到,蛇进入冬眠,它就可能变成老鼠的一顿大餐

扶苏聊历史
2026-10-21 16:34:58
监狱里最被人看得起的罪名是什么?

监狱里最被人看得起的罪名是什么?

扶苏聊历史
2026-10-22 18:08:02
高管:若雄鹿合同违规,性质比快船更严重

高管:若雄鹿合同违规,性质比快船更严重

热血体育社
2026-10-24 02:23:36
5300平方公里大火 烧穿了日本的傲慢

5300平方公里大火 烧穿了日本的傲慢

看看新闻Knews
2026-10-22 23:31:13
山东男篮首胜却现扎心一幕:只 得 2 分,班顿是队史最差外援吗

山东男篮首胜却现扎心一幕:只 得 2 分,班顿是队史最差外援吗

姜大叔侃球
2026-10-23 22:16:48
问界M9、智己尾灯被“点名”?新规:车灯不许卖萌

问界M9、智己尾灯被“点名”?新规:车灯不许卖萌

茄小茄说事
2026-10-21 18:00:17
中国十大悬案(两案已告破)

中国十大悬案(两案已告破)

年代回忆
2026-10-17 20:10:28
央企“守门人”被查

央企“守门人”被查

能见
2026-10-23 21:52:42
新型穷人开始席卷中国:有车有房,生活光鲜亮丽,对城市没归属感

新型穷人开始席卷中国:有车有房,生活光鲜亮丽,对城市没归属感

浩渺青史
2026-10-24 00:56:15
曾经很火的鲈鱼,为啥吃的人越来越少了,鱼贩:5个原因太现实

曾经很火的鲈鱼,为啥吃的人越来越少了,鱼贩:5个原因太现实

小谈食刻美食
2026-07-25 08:54:45
一个奇怪现象 : 为何网上失业哀鸿遍野 , 现实中大家都按部就班的工作

一个奇怪现象 : 为何网上失业哀鸿遍野 , 现实中大家都按部就班的工作

青史卷中人
2026-10-03 02:55:17
深度长文:猪一辈子关在猪圈里,为什么不会"憋疯"抑郁?其实它会

深度长文:猪一辈子关在猪圈里,为什么不会"憋疯"抑郁?其实它会

宇宙时空
2026-10-23 12:04:32
2026-10-24 03:12:49
创业最前线 incentive-icons
创业最前线
创业有道·创新中国|长期关注中国科技创新经济市场,提供更有价值的创投科技报道。
3988文章数 53694关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

美国稀土大项目黄了 稀土产业遭遇重大挫折

头条要闻

美国稀土大项目黄了 稀土产业遭遇重大挫折

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

设计换新/智舱升级 2027款博越限时价7.89万起

态度原创

本地
亲子
教育
公开课
军事航空

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

亲子要闻

萌娃跳舞#刚刚学的低着头不好意思跳舞《》

教育要闻

不要看成绩,不用看成就,你就看这三点

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国或于明年开始扩建格陵兰岛军事设施

无障碍浏览 进入关怀版