网易首页 > 网易号 > 正文 申请入驻

李飞飞推出多模态世界模型,可精确控镜生成视频,能三维重建并服务机器人仿真

0
分享至



9月2日,被称作“AI教母”的斯坦福教授李飞飞创立的空间智能公司World Labs宣布推出新一代全模态世界模型Atlas。这是该公司继商用产品Marble和World API之后,在三维世界理解与生成方向上的最新进展。

World Labs由李飞飞与Justin Johnson、Ben Mildenhall、Christoph Lassner于2024年共同创办,目标是让人工智能具备空间智能,也就是理解物体如何存在于三维空间、场景如何延伸、动作如何改变环境。公司当年以约2.3亿美元融资出道并成为独角兽,2026年2月又完成约10亿美元新一轮融资。李飞飞一直认为,语言模型让机器学会了说话,但真正走向物理世界,还需要能够感知、生成并与三维空间交互的世界模型。

Atlas被官方称为omni world model。它从零开始预训练,原生同时处理文本、图像、视频和三维数据,采用多模态自回归扩散Transformer架构。所有输入会被编码进同一个共享的空间上下文,每张图像都带有明确的相机位姿,模型据此生成后续内容,既保持三维一致性,又能对未见区域作出合理想象。公司表示,该模型性能会随训练算力增加而提升,并计划将其用于未来版本的Marble及其他产品。早期访问将向选定合作伙伴开放。

据官方介绍,Atlas覆盖生成、重建和模拟三类任务。在相机控制生成方面,用户只需提供一张或几张参考图,就能指定精确相机路径,输出最高1440p、最长约一分钟的视频。与依赖模糊文字指令控制镜头的方式不同,Atlas把相机几何作为原生输入,创作者可以更接近“布景和调度”而不是“碰运气写提示词”。在三维重建方面,模型可从少量普通照片重建真实场景,同时输出新视角画面和点云、高斯溅射等显式三维结果。公司公布的内部对比显示,在多个稀疏视角重建基准上,Atlas的平均误差低于当时领先的专用三维重建模型。输入图像越多,模型越少依赖想象、越接近忠实还原。

在时空模拟方面,Atlas能从少量视频中同时建模空间结构与时间变化。一个直观例子是“子弹时间”:用几部手机拍下的素材,即可冻结时间并从新角度重拍。对机器人而言,这意味着更便宜的Real-to-Sim路径——拍摄真实环境后,模型可生成机器人视角的图像与深度,并进一步模拟物体交互,用于训练和测试。此外,Atlas也能根据文本生成图像和360度全景,并支持多种风格。

这条产品线并非突然出现。2025年10月,World Labs发布研究预览RTFM,尝试在单卡上实时生成可交互视频;同年11月推出首个商用产品Marble,用户可用文本、图像、视频或粗略三维布局生成可探索、可导出的持久三维世界;2026年1月上线World API,7月收购SceniX以加强机器人仿真。Atlas被放在这条路线的下一站:它介于“渲染画面”和“模拟世界如何响应动作”之间,既能生成一致的三维视图,也能输出可供后续物理引擎使用的几何。

对影视、设计、建筑和机器人团队来说,这意味着现场几张照片就可能快速重建场地,镜头调度可以更精确,仿真环境不必完全依赖昂贵扫描和手工建模。不过,目前公开的对比数据仍以公司内部评测为主,独立第三方验证尚未全面展开,世界模型赛道上的竞争也在加快。即便如此,Atlas仍代表一种明确方向:把文本、图像、视频和三维几何放进同一个空间上下文里联合建模,让机器不只描述世界,而是开始在三维中理解、想象并辅助行动。从ImageNet让计算机看见二维图像,到Atlas试图让计算机走进三维世界,李飞飞和World Labs的这条线依然清晰。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
多人死伤!波音767飞机冲出跑道坠毁! 撞上多辆汽车后起火!

多人死伤!波音767飞机冲出跑道坠毁! 撞上多辆汽车后起火!

北国向锡安
2026-09-07 10:35:21
31.8万起!2027款宝马BMW X3上市:配置疯狂加码 硬刚奔驰GLC

31.8万起!2027款宝马BMW X3上市:配置疯狂加码 硬刚奔驰GLC

快科技
2026-09-07 11:11:05
报废雪佛兰不拆不卖,被主人嵌进大门当滑轨

报废雪佛兰不拆不卖,被主人嵌进大门当滑轨

像素与芯片
2026-09-06 09:44:13
太惋惜!南通烤肉店老板老陶离世,有6家店,死因曝光令人唏嘘

太惋惜!南通烤肉店老板老陶离世,有6家店,死因曝光令人唏嘘

小徐讲八卦
2026-09-06 14:15:50
《叶问5》处境尴尬:甄子丹要价1.2亿,市场只剩唏嘘

《叶问5》处境尴尬:甄子丹要价1.2亿,市场只剩唏嘘

陈意小可爱
2026-09-06 13:35:18
穆里尼奥哭晕!皇马 1.4 亿水货彻底现形!伯纳乌天价新援隐身

穆里尼奥哭晕!皇马 1.4 亿水货彻底现形!伯纳乌天价新援隐身

澜归序
2026-09-06 10:06:54
翟欣欣逼死前夫,和其他男人不雅聊天曝光,当着自己父亲在家约炮

翟欣欣逼死前夫,和其他男人不雅聊天曝光,当着自己父亲在家约炮

小人物看尽人间百态
2025-01-23 14:28:52
从1-0到1-3!越南足球最黑暗一天:三连败耻辱降级,确定无缘两届亚洲杯

从1-0到1-3!越南足球最黑暗一天:三连败耻辱降级,确定无缘两届亚洲杯

绿茵舞着
2026-09-07 00:29:46
男人一天最多能几次?别盲目逞强!医生曝出透支上限,多数人都超了

男人一天最多能几次?别盲目逞强!医生曝出透支上限,多数人都超了

荔子言
2026-08-26 15:20:06
特朗普特使会晤普京,新版俄乌和平方案流出

特朗普特使会晤普京,新版俄乌和平方案流出

名人苟或
2026-09-06 16:23:22
1979年那场仗,中国人叫“自卫反击”,可越南人把这口气憋了47年,憋到近年才有人敢说实话

1979年那场仗,中国人叫“自卫反击”,可越南人把这口气憋了47年,憋到近年才有人敢说实话

扶苏聊历史
2026-09-04 13:53:44
又内乱了!德云社元老级人物离开,发文内涵郭德纲,彻底撕破脸面

又内乱了!德云社元老级人物离开,发文内涵郭德纲,彻底撕破脸面

访史
2025-08-31 15:25:43
专家犀利发声:灵活就业者缴职工社保,看似保障,实则是变相剥夺

专家犀利发声:灵活就业者缴职工社保,看似保障,实则是变相剥夺

偷喝一口奶
2026-09-06 08:54:31
49岁宋承宪近况曝光!与刘亦菲分手已经8年,如今还是单身让人唏嘘

49岁宋承宪近况曝光!与刘亦菲分手已经8年,如今还是单身让人唏嘘

代军哥哥谈娱乐
2026-09-07 11:13:35
中日交涉谈崩后,日本突然官宣重大决定,中方不再留台阶

中日交涉谈崩后,日本突然官宣重大决定,中方不再留台阶

通鉴史智
2026-09-07 11:40:13
34岁周冬雨上《花少》多不自信?脸涂那么白,林依晨姐姐可是素颜

34岁周冬雨上《花少》多不自信?脸涂那么白,林依晨姐姐可是素颜

小兔子的快乐
2026-09-06 04:04:05
伊朗突然亮出最高机密,美国才明白:难怪打了这么久都打不垮

伊朗突然亮出最高机密,美国才明白:难怪打了这么久都打不垮

热点一网打尽
2026-09-06 18:52:42
艾滋病有多严重?为什么越来越严重?

艾滋病有多严重?为什么越来越严重?

红色少女主播
2026-08-27 23:23:57
离谱操作!曼联 1.2 亿打水漂!名宿炮轰:完全看不懂!

离谱操作!曼联 1.2 亿打水漂!名宿炮轰:完全看不懂!

一隅非生
2026-09-07 10:33:13
2-0!亚预赛最大冷门诞生!印尼掀翻卫冕冠军,小组头名出线

2-0!亚预赛最大冷门诞生!印尼掀翻卫冕冠军,小组头名出线

绿茵舞着
2026-09-06 22:18:34
2026-09-07 13:48:49
不看车bukanche incentive-icons
不看车bukanche
全网同名:不看车,粉丝合计超60万~
2556文章数 10794关注度
往期回顾 全部

科技要闻

特斯拉中国宣布本月Model 3和Y全系"降价"

头条要闻

小区"一刀切"禁止新能源汽车进地库 业主买车位不能停

头条要闻

小区"一刀切"禁止新能源汽车进地库 业主买车位不能停

体育要闻

3.9秒绝平!杨舒予18+5成女篮救世主

娱乐要闻

张柏芝带儿子冲浪,一起看风景

财经要闻

8家中央金融企业获增资 释放什么信号?

汽车要闻

带升降立标MPV 岚图梦想家9预售价42.99万起

态度原创

教育
手机
时尚
房产
健康

教育要闻

孩子学习总靠吼?用workbuddy搞定家教,让娃自己猛猛学!

手机要闻

华为Mate XT 2非凡大师今天发布!天王刘德华确认出席发布会

专场|| 365天都想戴,这期性价比好高

房产要闻

突发重磅!海口出台楼市新政!

同样是脑梗,为何康复结局大不同?

无障碍浏览 进入关怀版