网易首页 > 网易号 > 正文 申请入驻

李飞飞新模型Atlas发布:AI分身叠衣服,相机控制成核心突破

0
分享至

李飞飞在办公室里叠衣服,动作自然,光影真实——但画面里的她,是数字分身。这段由World Labs新一代世界模型Atlas生成的视频,被她本人转发调侃:"我们办公室里确实真的在叠衣服!"

从去年发布的Marble到今天的Atlas,这家由李飞飞创办的公司,把世界模型从"能看"推向了"能懂空间"。官方给出的定义是:世界上第一个能以像素级相机控制生成图像与视频帧、并将其重建为3D的多模态世界模型。翻译成大白话:它不再只是生成画面,而是理解画面里的空间关系,并据此生成新视角。


一个模型,四种模态

Atlas被World Labs称为"全模态模型"(omni model),从零开始预训练,原生处理文本、图像、视频和3D四种数据。它的能力可以拆成四块:

  • 相机可控生成:从1到6张参考图出发,按指定机位和角度生成新视角,最高输出1440p、最长1分钟的视频。
  • 空间重建:从1到几十张输入图重建真实场景,输出新视角图像帧,也输出点云和3D高斯泼溅等显式3D结果。
  • 时空模拟:从输入视频中同时建模空间与时间,用于视频重构图和机器人的Real-to-Sim流程。
  • 图像生成:包括文生图和360度全景图。

目前Atlas不开源,仅向少数合作伙伴开放早期访问申请,后续将驱动Marble及World Labs的其他产品。

核心设计:把相机位姿变成"原生输入"

Atlas最核心的设计叫"空间上下文"(spatial context)。它是一个多模态自回归扩散Transformer,输入在三维空间中进行grounded,形成空间上下文,再基于该上下文生成多模态输出。

类比大语言模型:LLM把输入编码成context,再基于context生成后续token。Atlas的流程相同,区别在于——进入context的每一张图像都被锚定在三维空间中的一个具体位置,它带着相机位姿一起进来。

这个改动带来的直接后果是:相机不再靠文字描述。过去让视频模型"向左推轨""升降镜头",只能把这些电影术语写进提示词里,模型理解到什么程度是个黑箱。Atlas把相机几何做成了原生输入类型。World Labs表示,这能让创作者"坐进导演椅,而不是在拉老虎机的拉杆"。

更有意思的是对上下文的编排。你可以往空间上下文里放两张毫不相关的参考图,并指定它们在三维空间中的相对位置,Atlas会生成一个在两者之间平滑过渡的世界——它自己想象出门廊、走道和转角。博客里给了一个例子:把一张站点图片和一张地面图片拼在一起,模型补出了中间从来不存在的空间。

架构与成绩:两条技术线的混合体

架构上,Atlas是一个多模态自回归扩散Transformer,几个关键词拆开看:

  • 多模态:原生处理文本、图像、相机位姿和深度图,视频被表示为图像序列。
  • 自回归:输出逐个元素生成,每个任务只是一种不同的序列排列。
  • 扩散:采用rectified flow,靠逐步去噪生成结果。
  • Transformer骨干:保证对现代硬件的适配。

World Labs强调,这是LLM和视频模型两条技术线的混合体,因此能同时吃到KV缓存、分离式部署这类LLM侧的推理优化,以及扩散蒸馏、CFG、VAE改进这类视频侧的算法进展。

评测给出两块。相机可控生成上,World Labs用单张输入图配1到3段电影化的运镜指令,交由第三方人类评分者盲选。结果是Atlas对MiniMax H3的胜率75%,对Gemini Omni Flash 81%,对阿里HappyHorse 1.1为86%,对FLUX 3为93%,对字节Seedance 2.5为94%,且运镜轨迹越复杂优势越大。

但需要注意,World Labs在博客里自己写明:对比的其他模型不接受相机位姿作为原生输入,运镜只能通过文本提示描述。换句话说,75%到94%这个区间衡量的,很大程度上是"原生相机接口"对"文本描述运镜"的差距,而不是纯粹的画面生成质量差距。因此,World Labs并不是说"Atlas的视频生成能力全面碾压上述模型"。

3D重建部分。在稀疏视角重建任务上,Atlas的平均误差(AbsRel×10⁻³)为25.3,优于Pi3X(posed)的28.7、π³的34.7、VGGT-Ω 1B的36.4、Depth Anything 3的39.3和MapAnything的47.7。World Labs称所有基线结果均由自己复现以保证评测协议一致。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
阿里42岁前高管美国失踪,发现时死于车内,好友:半月前就不对劲

阿里42岁前高管美国失踪,发现时死于车内,好友:半月前就不对劲

天天热点见闻
2026-09-06 09:13:35
内娱的审美该醒醒了,张子枫林允一起参加活动,一个干瘪一个饱满

内娱的审美该醒醒了,张子枫林允一起参加活动,一个干瘪一个饱满

小椰的奶奶
2026-09-04 16:41:42
陈伟,男,汉族,1989年出生。2019年,他在南京开的水果店倒闭了

陈伟,男,汉族,1989年出生。2019年,他在南京开的水果店倒闭了

小蜜情感说
2026-09-06 15:10:12
89套房产、37台豪车查封!63亿资产冻结,鼎益丰1300亿玄学骗局

89套房产、37台豪车查封!63亿资产冻结,鼎益丰1300亿玄学骗局

正经的烧杯1
2026-08-30 14:37:41
24GB+1TB!新机官宣:9月10日,正式发布

24GB+1TB!新机官宣:9月10日,正式发布

科技堡垒
2026-09-06 11:40:33
疑似 iPhone Ultra 系统界面泄露!展开变成 iPad

疑似 iPhone Ultra 系统界面泄露!展开变成 iPad

花果科技
2026-09-06 16:21:49
女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

看世界的人
2026-08-07 09:22:50
2026年9月9日是毛泽东同志逝世50周年纪念日 毛主席纪念堂调整开放时间

2026年9月9日是毛泽东同志逝世50周年纪念日 毛主席纪念堂调整开放时间

闪电新闻
2026-09-06 14:04:06
女性负债,真的开始“集中爆雷”了。

女性负债,真的开始“集中爆雷”了。

老陆不老
2026-09-04 21:51:34
1979年那场仗,中国人叫“自卫反击”,可越南人把这口气憋了47年,憋到近年才有人敢说实话

1979年那场仗,中国人叫“自卫反击”,可越南人把这口气憋了47年,憋到近年才有人敢说实话

扶苏聊历史
2026-09-04 13:53:44
2026年国庆节放假通知,有3个好消息、4个坏消息,大家早做准备

2026年国庆节放假通知,有3个好消息、4个坏消息,大家早做准备

阿芒娱乐说
2026-09-06 07:54:03
郑钦文0-5惊天逆袭!凯斯赛后叹服:她越打越出色!周董深夜点赞

郑钦文0-5惊天逆袭!凯斯赛后叹服:她越打越出色!周董深夜点赞

翡翠清泉
2026-09-06 21:01:35
两性关系:寿命较长的男性,基本都有这四个习性,别不信

两性关系:寿命较长的男性,基本都有这四个习性,别不信

周哥一影视
2026-09-05 01:41:02
华为“被讨厌”不是没道理,Mate90 ProMax这一堆猛料砸下来,苹果怎么比?

华为“被讨厌”不是没道理,Mate90 ProMax这一堆猛料砸下来,苹果怎么比?

大卫聊科技
2026-09-04 13:47:51
大S闺房曝光!太过诡异像灵堂引人不适,难怪大师预言她活不过50岁

大S闺房曝光!太过诡异像灵堂引人不适,难怪大师预言她活不过50岁

瞎说娱乐
2026-08-27 11:09:48
山东人当年“闯关东”,为何宁愿去严寒的东北,也不去富饶的南方

山东人当年“闯关东”,为何宁愿去严寒的东北,也不去富饶的南方

文史道
2025-03-03 13:00:30
高校思政专职教师数量越多,我们离诺贝尔奖越远

高校思政专职教师数量越多,我们离诺贝尔奖越远

细雨中的呼喊
2026-09-05 07:04:43
中国会不会出现第2个毛主席?外国专家曾说:天才出现具有偶然性

中国会不会出现第2个毛主席?外国专家曾说:天才出现具有偶然性

傲傲讲历史
2026-09-05 16:30:30
重回中国,马布里兴奋,正式上任,新岗位曝光,曾被推荐执教宏远

重回中国,马布里兴奋,正式上任,新岗位曝光,曾被推荐执教宏远

任心荒芜h
2026-09-06 10:46:33
0-4!辽宁铁人再度“折戟”,遭云南队4球大胜,5场比赛狂丢13球

0-4!辽宁铁人再度“折戟”,遭云南队4球大胜,5场比赛狂丢13球

汪星人哟
2026-09-06 21:23:57
2026-09-06 22:19:00
码上闲叙
码上闲叙
有态度网友ytd
229文章数 90关注度
往期回顾 全部

科技要闻

DeepSeek被曝将采购16万颗华为昇腾950DT

头条要闻

CHINA GT发生重大撞车起火事故 救援人员因为害怕逃离

头条要闻

CHINA GT发生重大撞车起火事故 救援人员因为害怕逃离

体育要闻

本西蒙斯加盟国王,不管怎样,回来就好

娱乐要闻

杨紫获白玉兰影后!爸爸:累了就回家

财经要闻

亏损高达200亿,昔日彩电霸主走下巅峰!

汽车要闻

带升降立标MPV 岚图梦想家9预售价42.99万起

态度原创

教育
房产
艺术
公开课
军事航空

教育要闻

2905人!长江大学2026级研究生新生大数据出炉!

房产要闻

突发重磅!海口出台楼市新政!

艺术要闻

艾琳·汉森 2026年油画新作

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美伊互袭油轮 伊朗军方称或对美进行更大规模打击

无障碍浏览 进入关怀版