网易首页 > 网易号 > 正文 申请入驻

李飞飞发布全球首个多模态世界模型Atlas!几张照片还原3D空间

0
分享至

9月2日,李飞飞创立的World Labs正式发布新一代世界模型Atlas。官方将其定义为“全球首个多模态世界模型”,slogan直接亮出核心能力:建模世界,移动相机,模拟空间和时间。

Atlas不是一个只能生成互动视频的模型。它能以像素级相机控制生成图像和视频帧,并完成3D重建,同时理解空间与时间。李飞飞本人将其置顶,称“Atlas为从视觉特效到机器人的众多应用场景打开了大门”。英伟达机器人主管Jim Fan也来捧场,评价这是机器人领域“Real-to-Sim的一大步”。

具体能力拆成四块。相机控制生成:仅需一张图片,即可生成具有像素级相机控制的图片和视频,最高输出1分钟、1440p。空间重建:基于一张到数十张输入图像,既可生成新视角帧,也能输出显式3D表示,效果超过当前专业3D重建模型。时空模拟:输入视频即可转换观察视角,支持机器人Real-to-Sim工作流。图像生成:根据文本生成图片和360°全景图。

技术底座是一套多模态自回归扩散Transformer。文本、图像、视频、相机位姿、3D深度图等输入都被锚定在三维空间中形成空间上下文,Atlas再据此生成多模态输出。官方博客强调,这套架构融合了大语言模型和视频模型的思想:既能利用KV Cache、缓存感知路由等LLM推理优化,也保留了扩散模型的采样蒸馏和引导算法。

定量评估显示,在相机控制生成任务中,Atlas优于SOTA视频模型,且相机轨迹越复杂优势越大。盲测对比中,Atlas面对MiniMax H3胜率75%,面对Gemini Omni Flash胜率81%,面对FLUX 3胜率93%,面对Seedance 2.5胜率94%。稀疏视角3D重建方面,Atlas在DTU、ETH3D、ScanNet等数据集上取得25.3的误差分数,优于Pi3X的28.7和Depth Anything 3的39.3。

喂给它几张照片,它就能生成逼真的RGB和深度数据,机器人可以在更多不同的模拟空间中训练和测试。按官方说法,从真实照片到3D空间,再到机器人传感器视图和可变化的模拟环境,这条路径已经打通。Atlas未来将成为World Labs旗下Marble等产品的底层模型。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
武大举报风波升级!终于查实:付磊教授的原配妻子为汪海英,曾任该校的行政干部

武大举报风波升级!终于查实:付磊教授的原配妻子为汪海英,曾任该校的行政干部

火山詩话
2026-09-05 17:49:34
路边碰到一群精神小妹,我想知道他们的出路在哪

路边碰到一群精神小妹,我想知道他们的出路在哪

皮蛋儿电影
2026-09-05 16:09:44
科大讯飞出轨女主朱倩旧照疑曝光!小眼睛大脸盘,身材一般,和网传照片天差地别

科大讯飞出轨女主朱倩旧照疑曝光!小眼睛大脸盘,身材一般,和网传照片天差地别

小徐讲八卦
2026-09-03 11:53:43
银行行长酒后漏嘴:六十岁以后存钱,一定别全部存在个人名下

银行行长酒后漏嘴:六十岁以后存钱,一定别全部存在个人名下

奇思妙想生活家
2026-09-05 11:27:06
突发!伊朗导弹袭击美航母

突发!伊朗导弹袭击美航母

极目新闻
2026-09-06 10:12:33
怒了!挥拳砸向张宁!CBA夏联第一激烈冲突

怒了!挥拳砸向张宁!CBA夏联第一激烈冲突

篮球实战宝典
2026-09-05 19:22:03
从星宇劳动纠纷来看,为什么我国很多企业都不遵守劳动法

从星宇劳动纠纷来看,为什么我国很多企业都不遵守劳动法

娱乐圈见解说
2026-09-06 07:07:54
42岁文章带32岁新女友看话剧,素颜似32岁时的姚笛?网友:还是50岁马伊琍最漂亮

42岁文章带32岁新女友看话剧,素颜似32岁时的姚笛?网友:还是50岁马伊琍最漂亮

奴染
2026-09-02 23:58:15
利好!中国女排提前锁定世界杯种子席位 前三名获奥运会参赛资格

利好!中国女排提前锁定世界杯种子席位 前三名获奥运会参赛资格

念洲
2026-09-06 07:38:17
前澳网冠军回应被郑钦文逆转:恐慌煎熬!挥拍都放不开 不会打球

前澳网冠军回应被郑钦文逆转:恐慌煎熬!挥拍都放不开 不会打球

念洲
2026-09-06 06:29:45
年薪4160万!火箭7子薪资排名,阿门新合同小胜申京!1人已掉队

年薪4160万!火箭7子薪资排名,阿门新合同小胜申京!1人已掉队

熊哥爱篮球
2026-09-06 10:04:41
德国的强硬回击,让俄罗斯绷不住了

德国的强硬回击,让俄罗斯绷不住了

山河路口
2026-09-03 22:42:02
国安部:间谍深夜翻进快递站偷数据,值班人员及时发现举报;成功破获企图窃取我境内快递企业数据案件,细节披露

国安部:间谍深夜翻进快递站偷数据,值班人员及时发现举报;成功破获企图窃取我境内快递企业数据案件,细节披露

台州交通广播
2026-09-06 09:14:58
赖清德,有望成为新中国历史上,第一位任上出事的台湾地区领导人

赖清德,有望成为新中国历史上,第一位任上出事的台湾地区领导人

老脸科普君
2026-09-06 09:06:27
美网1/8决赛:郑钦文VS斯瓦泰克,冲523万奖金,第9次交手谁能赢

美网1/8决赛:郑钦文VS斯瓦泰克,冲523万奖金,第9次交手谁能赢

体育大学僧
2026-09-06 10:34:48
女性负债,真的开始“集中爆雷”了。

女性负债,真的开始“集中爆雷”了。

老陆不老
2026-09-04 21:51:34
舆论升级!苏州一厨师主动辞职、工资结清,转头索要5.4万社保赔偿,网友怒斥:这种过河拆桥的人,最终没有好下场的

舆论升级!苏州一厨师主动辞职、工资结清,转头索要5.4万社保赔偿,网友怒斥:这种过河拆桥的人,最终没有好下场的

火山詩话
2026-09-05 06:06:47
澳总理批中国导弹试射,被当场反问:美国67次核试验怎么不说?

澳总理批中国导弹试射,被当场反问:美国67次核试验怎么不说?

算力游侠
2026-09-05 09:11:31
4-1!39岁法布雷加斯太神了,率队登顶意甲,皇马8000万弃将破门

4-1!39岁法布雷加斯太神了,率队登顶意甲,皇马8000万弃将破门

球场没跑道
2026-09-05 13:37:48
“100%椰子水”大翻车!配料表仅有“椰子水” 却检出山梨酸及钾盐

“100%椰子水”大翻车!配料表仅有“椰子水” 却检出山梨酸及钾盐

闪电新闻
2026-09-05 11:21:22
2026-09-06 12:12:49
未来图灵 incentive-icons
未来图灵
在这里每个人都能读懂人工智能
1703文章数 2507关注度
往期回顾 全部

科技要闻

DeepSeek被曝将采购16万颗华为昇腾950DT

头条要闻

男子1.38万捡漏二手大众CC 懂车帝称操作失误未发货

头条要闻

男子1.38万捡漏二手大众CC 懂车帝称操作失误未发货

体育要闻

本西蒙斯加盟国王,不管怎样,回来就好

娱乐要闻

低调富养!郭富城两女儿入读香港名校

财经要闻

亏损高达200亿,昔日彩电霸主走下巅峰!

汽车要闻

带升降立标MPV 岚图梦想家9预售价42.99万起

态度原创

健康
房产
数码
亲子
艺术

脑梗取栓成功≠活下来,还有这三关

房产要闻

突发重磅!海口出台楼市新政!

数码要闻

狼蛛NOVA98系列机械键盘新增“桃雾粉”“尘雾白”上市

亲子要闻

揪心一幕:幼儿园开学,孩子哭闹、甚至逃跑,家长不舍地扒墙观望

艺术要闻

有光的静物花卉,俄罗斯当代画家维罗尼卡·洛巴列娃

无障碍浏览 进入关怀版