网易首页 > 网易号 > 正文 申请入驻

刚刚,李飞飞掀桌!全球首个多模态世界模型发布,几张照片省掉几百个机位

0
分享至


前脚友商还在为你追我赶生成几秒钟的「电子榨菜」视频卷到头秃;后脚李飞飞创办的 World Labs 微微一笑,把桌子掀了——

就在刚刚,全球首个多模态世界模型 Atlas 正式登场!


官方博客 https://www.worldlabs.ai/blog/atlas

按照官方定义,Atlas 是一款面向空间智能的 omni world model,从零开始完成预训练,可以原生处理文本、图像、视频、相机位姿与 3D 深度信息,并在同一套模型中完成世界生成、空间重建和时空模拟。


先来看最直观的炸场操作:

Camera Controlled Generation(相机控制生成)。

以前大家玩视频生成模型,多少有点玄学抽奖。我们在 Prompt 框里卑微敲下:「镜头缓慢向左拉升、绕着人物微仰角旋转」,回车之后全凭老天保佑。


对比之下,Atlas 的做法是:直接把「相机位姿参数」当作底层原生输入。

你要什么角度、什么轨迹、走多快?

直接给坐标!

只要丢进去 1 到 6 张普通照片,定好运镜轨迹,Atlas 就能生成最长达 1 分钟、1440p 分辨率 的大片。

画面不崩,空间几何丝滑一致,堪称外挂级运镜。


更夸张的是它的空间「脑补力」。

输入一张只拍到机器人正面的照片?Atlas 能把人家背影完完整整脑补出来;


给一张泳池边角照?它靠着脑子里的「世界常识」,默默帮你把隔壁没拍到的草坪和远山给修好了。


从官方放出的 Demo 来看,Atlas 在镜头运动和空间一致性上确实比普通视频生成模型更进一大步。

不过,镜头一旦进入原图没有拍到的区域,Atlas 实际上仍然需要依赖模型先验去猜,视角跨度越大、生成路径越长,局部几何漂移、物体形状变化和纹理闪烁也越容易暴露出来。

换句话说,它生成的更像是一个视觉上合理的三维世界,未必就是原来那个世界的精确数字复刻。

而种种操作的背后,也绕不开一个名为 Spatial Context(空间上下文)的行业术语。

大语言模型看上文接下文,Atlas 则是给每张图片绑死三维坐标和深度,在脑子里搭出一个带轴网的房间。

说得更直白一点,Atlas 很多能力的底层,其实都绕不开 多视角合成


它会把来自不同角度、不同机位的图片和视频,一起塞进同一个三维空间里,先判断它们彼此之间的相对位置,再补足没拍到的区域,继续生成新的视角。

单张图输入时,它更多依赖模型先验去「脑补」世界;输入视角一旦变多,它就更像是在做一次带空间约束的多视角融合,把零散画面慢慢拼成一个连续、可漫游的三维场景。

甚至你随便抓两张八竿子打不着的照片往空间里一扔,Atlas 都能强行给你脑补出走廊、大门和房间,把俩场景无缝焊在一起。

导演系同学看到这里,战术沉默,缓缓打出一个问号:合着以后运镜不用实拍,直接在电脑里「云开机」就完事了?

除此之外,Atlas 还有第二张王牌:Spatial Reconstruction(空间重建)。

传统的 3D 高斯泼溅(3D GS)或者点云扫描,得扛着专业设备围着目标转几十圈,拍几百上千张照片,费钱又费腿。


但 Atlas 再次露出神秘的微笑:一边去,哪来这么多的规矩。


官方直接甩出了一个斯坦福大学 Main Quad 案例,只需把 2 到 25 张游客视角的地面平拍照片塞进去,就能轻松还原草坪、拱廊以及纪念教堂外墙的全部细节。


镜头随后直接拔地而起,来了一段上帝视角航拍的漫游。

在 DTU、ETH3D、ScanNet 等一堆公开数据集上,专门测稀疏视角重建误差(AbsRel ×10⁻³):Atlas 拿下了 25.3 的分数(分数越低越好)

对比之下,Pi3X 是 28.7,Depth Anything 3 飙到 39.3,MapAnything 更是高达 47.7。


而且输出直接对接点云和 3D Gaussian Splatting,能无缝接进 World Labs 自家的 Marble 平台,高帧率即时渲染。

更绝的还有「子弹时间」式的 Reframing Video。

不用好莱坞几百台相机的环形阵列,研究员拿三五个普通手机、运动相机随手一架,塞进背包带走;


拍一段日常打闹,Atlas 就能在虚拟空间里随意切换视角,原地复刻《黑客帝国》。


当然,李飞飞和她旗下的公司 World Labs 折腾这一大出,终极目标肯定不是为了跟好莱坞抢特效饭碗。她的星辰大海,是这代 AI 最大的痛点:

具身智能与机器人。

现在搞机器人训练的朋友都知道,具身智能的最大痛点其实就是「虚拟训练场不够用」。

让机器人真的去工厂、仓库和家庭里反复试错,数据采集速度慢,成本也高;换到仿真环境里训练,又得先花大量人力搭建 3D 场景、材质、光照和物体。

业内甚至有一种估算,如果完全依靠传统方式收集足够规模的机器人训练数据,最终成本可能达到 100 万亿美元的量级。

Atlas 给出的 Real to Sim 路线,相当于直接省掉了中间大量人工搭建仿真世界的工作。

拿手机拍两段 24 帧的工厂或房间视频,喂给模型;Atlas 原地吐出一个高精度的 3D 物理空间,机器人就可以钻进这个孪生空间里疯狂「跑图」试错。


甚至机器人走到哪,Atlas 就当场渲染出机载摄像头应该看到的 RGB 图和深度图。

机械臂碰一下刚性箱子、拉一下铰链柜门、捏一下软体海绵,Atlas 统统能模拟出受力反馈。


只要录一段真实现场,就能衍生出千万种光照、摆放和障碍物条件。

技术底座上,World Labs 这次掏出了一套极其硬核的组合拳:

Multimodal Autoregressive Diffusion Transformer, 多模态自回归扩散 Transformer


拆开来看,它兼采了当前两大主流范式的长处:

Multimodal:原生融通文本、二维图像、相机位姿与 3D 深度;

Autoregressive(自回归):像语言模型预测下一个词一样,在时空序列中逐级预测新的空间状态;

Diffusion(扩散机制):基于 Rectified Flow 逐步去噪,确保连续高维信号的画质与几何精度;

Transformer:以最成熟的矩阵乘法结构为底座,无缝适配现有大规模算力集群。

这套架构让 Atlas 能够同时享受到 LLM 领域的 KV Cache、分布式推理优化,以及扩散模型的采样蒸馏与先验引导。

在针对镜头运动控制的真人 Blind Test(盲测)里,战况简直是一场单方面的骑脸输出:

面对 MiniMax H3,Atlas 胜率 75%;面对 Gemini Omni Flash,胜率 81%;面对 FLUX 3,胜率直接冲上 93%;面对 Seedance 2.5,胜率达到凶残的 94%!


除了世界生成和空间重建,Atlas 还顺带具备了不错的图像生成能力。虽然这不是它的主攻方向,但复杂 Prompt、文字渲染,以及写实、电影感、油画、漫画等多种风格,它都能处理。


更有意思的是,Atlas 还能直接根据文字或图片生成 360° 全景图。相比普通文生图只要保证一个固定画面成立,360° 场景还要处理前后左右的空间连续性,对模型的空间理解要求更高。

值得一提的是,除了性能,World Labs 在 Atlas 身上强调的另一个关键词是 Scaling。

官方博客提到,随着参数量和计算力成倍上翻,模型展现出了类似大语言模型那种「突然开窍」的涌现能力。

暴力 Scaling 依然是版本答案。

目前 Atlas 已经向部分合作伙伴开放 Early Access,并将在未来成为 Marble 和 World Labs 其他产品的底层模型。


回过头看,从二十年前奠基计算机视觉的 ImageNet,到斯坦福实验室十年来深耕「视觉+机器人学习」,再到创办 World Labs,李飞飞本质上是死磕同一条轨道。

ImageNet 解决的是「让机器在像素中识别世界」,而她越来越关心的,是一个更难的问题:机器看见一张图之后,究竟有没有理解背后的三维空间,以及下一秒会发生什么?

李飞飞曾把今天的大语言模型形容为「黑暗里的文字高手」,能谈论现实,却缺少真正生活在现实中的经验。


一个模型可以解释杯子为什么会从桌上掉下来,但机器人真要伸手拿杯子,还得知道杯子离桌边多远、手从哪个方向过去,以及碰到它以后整个场景会发生什么变化。

Atlas 所代表的空间智能,某种程度上就是给已经十分发达的语言智能继续加上一层关于几何、物理、时间和行动的世界经验。

LLM 把互联网里的知识交给了机器,世界模型接下来争夺的,则可能是机器从数字世界走向现实世界的那张最真实的入场券。

我们正在招募伙伴

简历投递邮箱 hr@ifanr.com

✉️ 邮件标题 「姓名+岗位名称」(请随简历附上项目/作品或相关链接)


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
广州图书馆人满为患!大批失业者假装上班,专家痛批:脱不下孔乙己的长衫

广州图书馆人满为患!大批失业者假装上班,专家痛批:脱不下孔乙己的长衫

火山詩话
2026-09-06 15:08:53
中美紧张,中日紧张,中英紧张,中加紧张,中印紧张,中韩紧张,中欧紧张…… 各类消息看多了,怎么感觉每天都在过得很紧张?

中美紧张,中日紧张,中英紧张,中加紧张,中印紧张,中韩紧张,中欧紧张…… 各类消息看多了,怎么感觉每天都在过得很紧张?

回京历史梦
2026-09-07 17:48:31
朝鲜当初大概没料到,派了上万名士兵去俄罗斯参战,如今平壤的大街小巷里,啤酒、香烟、菜籽油和猪肉也从边境那边源源不断地涌了进来

朝鲜当初大概没料到,派了上万名士兵去俄罗斯参战,如今平壤的大街小巷里,啤酒、香烟、菜籽油和猪肉也从边境那边源源不断地涌了进来

z千年历史老号
2026-09-07 10:10:59
星宇事件再起争端!网友:星宇股份二次“罚”了所有人,却没一个人真疼——这波操作,把打工人当傻子

星宇事件再起争端!网友:星宇股份二次“罚”了所有人,却没一个人真疼——这波操作,把打工人当傻子

火山詩话
2026-09-07 12:46:48
中国的萝卜快跑明明已经跑了4年,可为什么生意越来越少了?

中国的萝卜快跑明明已经跑了4年,可为什么生意越来越少了?

流苏晚晴
2026-09-07 11:52:58
0-5惨败巴萨!2000名瓦伦西亚球迷堵住球场:要求华裔老板立刻滚

0-5惨败巴萨!2000名瓦伦西亚球迷堵住球场:要求华裔老板立刻滚

风过乡
2026-09-07 07:00:14
“车灯女王”周晓萍,被扣薪12个月

“车灯女王”周晓萍,被扣薪12个月

中国新闻周刊
2026-09-07 13:05:13
上海七旬老人与年轻时恋人再续旧情后分手,为讨要所赠礼物两次推倒女友致其骨折,被拘留15日,因年满70岁免执行,法院判赔1.9万元

上海七旬老人与年轻时恋人再续旧情后分手,为讨要所赠礼物两次推倒女友致其骨折,被拘留15日,因年满70岁免执行,法院判赔1.9万元

大风新闻
2026-09-07 14:36:07
说好来佛州养生的,格列兹曼出场30分钟后汗流满面,裹上头巾降温

说好来佛州养生的,格列兹曼出场30分钟后汗流满面,裹上头巾降温

懂球帝
2026-09-07 13:42:36
特朗普特使:泽连斯基必须同普京“作出妥协”

特朗普特使:泽连斯基必须同普京“作出妥协”

参考消息
2026-09-07 15:07:23
取消英语主科风波升级!一校长怒骂汤家凤:你是男是女,不懂英语怎么当上教授

取消英语主科风波升级!一校长怒骂汤家凤:你是男是女,不懂英语怎么当上教授

小徐讲八卦
2026-09-07 07:36:43
湖南经济为什么掉队了?当地县中医药主任轻飘飘的一句话,让人寒毛倒竖

湖南经济为什么掉队了?当地县中医药主任轻飘飘的一句话,让人寒毛倒竖

回旋镖
2026-09-07 12:45:44
严肃警告:不要买!不要吃!里面含有硼砂,危害健康,别害了自己

严肃警告:不要买!不要吃!里面含有硼砂,危害健康,别害了自己

健身狂人
2026-09-06 13:46:44
中国幸存者被手电筒发现瞬间:在钢筋立柱间意识清醒,称曾多次看到搜救灯光并大声呼喊

中国幸存者被手电筒发现瞬间:在钢筋立柱间意识清醒,称曾多次看到搜救灯光并大声呼喊

红星新闻
2026-09-07 13:39:31
周末大事件,“烟草系”全出马了

周末大事件,“烟草系”全出马了

巴山侃侃
2026-09-06 23:56:48
南京连夜成立联合调查组

南京连夜成立联合调查组

政知新媒体
2026-09-07 13:31:40
这条无耻新闻,终于引起公愤了!

这条无耻新闻,终于引起公愤了!

胖胖说他不胖
2026-09-07 11:50:18
“人民政府”写成“人民币政府”,万亿巨头翻车了

“人民政府”写成“人民币政府”,万亿巨头翻车了

中国新闻周刊
2026-09-07 16:11:08
保利集团董事长贺平的人生颇具传奇色彩:他娶了邓小平的女儿为妻,还曾低调斥资3000万元收回三件国宝

保利集团董事长贺平的人生颇具传奇色彩:他娶了邓小平的女儿为妻,还曾低调斥资3000万元收回三件国宝

z千年历史老号
2026-09-07 11:43:45
“林肯”号航母驶离泰国,官兵5天消费1亿泰铢,除了2名水兵在芭堤雅酒后斗殴外,没发生逮捕案件

“林肯”号航母驶离泰国,官兵5天消费1亿泰铢,除了2名水兵在芭堤雅酒后斗殴外,没发生逮捕案件

鲁中晨报
2026-09-06 20:39:17
2026-09-07 18:35:01
AppSo incentive-icons
AppSo
让智能手机更好用的秘密
6777文章数 26905关注度
往期回顾 全部

科技要闻

华为Mate XT 2起售价19999元 9月12日开售

头条要闻

"女孩看演唱会被取消低保"引热议 当地人员曾反复劝阻

头条要闻

"女孩看演唱会被取消低保"引热议 当地人员曾反复劝阻

体育要闻

中超争冠形势:成都蓉城下轮打平夺冠

娱乐要闻

热搜第一,演员李沐宸致歉

财经要闻

证监会原副主席王建军一审被判无期徒刑

汽车要闻

带升降立标MPV 岚图梦想家9预售价42.99万起

态度原创

旅游
手机
房产
本地
健康

旅游要闻

用花样文旅“装备库”打开旅行新方式

手机要闻

余承东:建议苹果用户买华为阔直板当备用机 备用几天就可能成为主力机

房产要闻

10万人吃瓜!三亚这个楼盘,法拍网上卖疯了!

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

同样是脑梗,为何康复结局大不同?

无障碍浏览 进入关怀版