网易首页 > 网易号 > 正文 申请入驻

李飞飞发布全球首个多模态世界模型Atlas!几张照片还原3D空间

0
分享至

9月2日,李飞飞创立的World Labs正式发布新一代世界模型Atlas。官方将其定义为“全球首个多模态世界模型”,slogan直接亮出核心能力:建模世界,移动相机,模拟空间和时间。

Atlas不是一个只能生成互动视频的模型。它能以像素级相机控制生成图像和视频帧,并完成3D重建,同时理解空间与时间。李飞飞本人将其置顶,称“Atlas为从视觉特效到机器人的众多应用场景打开了大门”。英伟达机器人主管Jim Fan也来捧场,评价这是机器人领域“Real-to-Sim的一大步”。

具体能力拆成四块。相机控制生成:仅需一张图片,即可生成具有像素级相机控制的图片和视频,最高输出1分钟、1440p。空间重建:基于一张到数十张输入图像,既可生成新视角帧,也能输出显式3D表示,效果超过当前专业3D重建模型。时空模拟:输入视频即可转换观察视角,支持机器人Real-to-Sim工作流。图像生成:根据文本生成图片和360°全景图。

技术底座是一套多模态自回归扩散Transformer。文本、图像、视频、相机位姿、3D深度图等输入都被锚定在三维空间中形成空间上下文,Atlas再据此生成多模态输出。官方博客强调,这套架构融合了大语言模型和视频模型的思想:既能利用KV Cache、缓存感知路由等LLM推理优化,也保留了扩散模型的采样蒸馏和引导算法。

定量评估显示,在相机控制生成任务中,Atlas优于SOTA视频模型,且相机轨迹越复杂优势越大。盲测对比中,Atlas面对MiniMax H3胜率75%,面对Gemini Omni Flash胜率81%,面对FLUX 3胜率93%,面对Seedance 2.5胜率94%。稀疏视角3D重建方面,Atlas在DTU、ETH3D、ScanNet等数据集上取得25.3的误差分数,优于Pi3X的28.7和Depth Anything 3的39.3。

喂给它几张照片,它就能生成逼真的RGB和深度数据,机器人可以在更多不同的模拟空间中训练和测试。按官方说法,从真实照片到3D空间,再到机器人传感器视图和可变化的模拟环境,这条路径已经打通。Atlas未来将成为World Labs旗下Marble等产品的底层模型。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1-2惨遭逆转!五大联赛最惨老牌劲旅?夏窗引进15人=半支球队 3连败1进球垫底

1-2惨遭逆转!五大联赛最惨老牌劲旅?夏窗引进15人=半支球队 3连败1进球垫底

狍子歪解体坛
2026-09-06 00:48:30
“每天下午5点准时来蹭饭……”浙江一老板愁坏了,全网求支招

“每天下午5点准时来蹭饭……”浙江一老板愁坏了,全网求支招

都市快报橙柿互动
2026-09-05 17:47:33
一男子杀妻抛尸谎称其婚外情出走,6年后警方找到尸体;疑犯称夫妻生活时被言语刺激才下杀手;法院一审判处无期,女方家属将申请抗诉

一男子杀妻抛尸谎称其婚外情出走,6年后警方找到尸体;疑犯称夫妻生活时被言语刺激才下杀手;法院一审判处无期,女方家属将申请抗诉

都市快报橙柿互动
2026-09-05 21:24:43
泽连斯基:即刻起至9月7日停止袭击莫斯科

泽连斯基:即刻起至9月7日停止袭击莫斯科

极目新闻
2026-09-06 06:58:24
尼泊尔“楼坚强”房主:因为离河近地基打得很牢,水稍退后依靠管子和绳子被接到对岸

尼泊尔“楼坚强”房主:因为离河近地基打得很牢,水稍退后依靠管子和绳子被接到对岸

红星新闻
2026-09-05 17:15:20
武汉大学举报再升级,纪检介入,更荒唐的还在后面

武汉大学举报再升级,纪检介入,更荒唐的还在后面

手工制作阿爱
2026-09-06 03:36:55
随着张雪机车的两名车手分别以第3和第5完赛,WSBK最新积分榜出炉

随着张雪机车的两名车手分别以第3和第5完赛,WSBK最新积分榜出炉

侧身凌空斩
2026-09-05 21:00:22
海拔3200米沙漠连夜搜救,1岁裸体走失男童被找到,事件详情披露

海拔3200米沙漠连夜搜救,1岁裸体走失男童被找到,事件详情披露

扬子晚报
2026-09-05 10:55:31
美国梦碎、欧洲躺平、中国内卷:普通人阶层跨越的终极真相(2026深度好文)

美国梦碎、欧洲躺平、中国内卷:普通人阶层跨越的终极真相(2026深度好文)

经济学教授V
2026-09-03 19:17:17
潘石屹362亿疯狂抄底

潘石屹362亿疯狂抄底

新浪财经
2026-09-03 10:30:19
袁腾飞移民美国的几个细节问题

袁腾飞移民美国的几个细节问题

十柱
2026-09-05 10:15:57
江西吉安遂川县高坪镇发生山体滑坡,十余人被埋

江西吉安遂川县高坪镇发生山体滑坡,十余人被埋

界面新闻
2026-09-05 11:46:30
正式告别机顶盒,全国开始部署

正式告别机顶盒,全国开始部署

鲁中晨报
2026-09-05 17:14:04
如果当年不搞计划生育,今天的中国会有20亿人吗?

如果当年不搞计划生育,今天的中国会有20亿人吗?

贱议你读史
2026-09-05 02:12:31
绝境逆转!23岁郑钦文激动躺地+振臂怒吼 获322万奖金 排名升至第80

绝境逆转!23岁郑钦文激动躺地+振臂怒吼 获322万奖金 排名升至第80

我爱英超
2026-09-06 01:57:00
中国女游客新加坡街头遭抢!刚用4.4万人民币换的8000新币,连古驰包一起没了...

中国女游客新加坡街头遭抢!刚用4.4万人民币换的8000新币,连古驰包一起没了...

新加坡眼
2026-09-05 19:12:22
一辆中国SUV让《纽约时报》实测10天,并推出整版报道;美消费者破防:我们可能永远买不到

一辆中国SUV让《纽约时报》实测10天,并推出整版报道;美消费者破防:我们可能永远买不到

第一财经资讯
2026-09-05 12:44:09
教育部部长怀进鹏:人口“排浪”来袭,教育将面临史无前例的洗牌

教育部部长怀进鹏:人口“排浪”来袭,教育将面临史无前例的洗牌

混沌录
2026-09-05 11:23:05
武汉大学权色风波升级,女教授社死,教育厅介入,付某退路没了!

武汉大学权色风波升级,女教授社死,教育厅介入,付某退路没了!

叨唠
2026-09-06 05:45:14
9月7日至12日 中国人民解放军陆军将派出兵力赴俄罗斯参加实兵演习

9月7日至12日 中国人民解放军陆军将派出兵力赴俄罗斯参加实兵演习

每日经济新闻
2026-09-04 18:03:32
2026-09-06 08:08:49
未来图灵 incentive-icons
未来图灵
在这里每个人都能读懂人工智能
1703文章数 2507关注度
往期回顾 全部

科技要闻

华为何庭波,再次更新韬定律论文

头条要闻

决胜盘一度0比5落后 郑钦文连赢七局上演"史诗级逆转"

头条要闻

决胜盘一度0比5落后 郑钦文连赢七局上演"史诗级逆转"

体育要闻

本西蒙斯加盟国王,不管怎样,回来就好

娱乐要闻

阿Sa蔡卓妍首度求婚细节,感动落泪

财经要闻

被曝试药后死亡,药企董事竟怒怼记者

汽车要闻

带升降立标MPV 岚图梦想家9预售价42.99万起

态度原创

教育
房产
旅游
游戏
时尚

教育要闻

县城理工男最严厉的父亲

房产要闻

突发重磅!海口出台楼市新政!

旅游要闻

让每一次抵达都多一份期待(香江在线)

发售时间迎来新线索!《龙珠》新作或明年初就能玩到

推广中奖名单-更新至2026年8月25日推广

无障碍浏览 进入关怀版