网易首页 > 网易号 > 正文 申请入驻

世界模型不能只看 Demo,VAST 想让它干点「真活儿」

0
分享至


一张 5090,实时生成一个世界。


作者|郑玄

1976 年马丁·斯科塞斯拍《出租车司机》时,曾亲手为影片的高潮段落画分镜。美国导演工会刊登的采访中,保留了这些画稿。一部后来成为经典的电影,最初也要靠纸上的人物、构图和镜头安排,让剧组理解导演脑中的那场戏。

对导演、设计师这样需要团队协作的创作者,这个需求一直存在:脑中已经有了画面,怎样让其他人也看见?

现在有了新的办法:先用模型搭出简单场景,让人物走起来、镜头动起来,再给出一张目标首帧和一句提示词,让 AI 沿着既定的布局与运动,实时生成具有具体风格和丰富细节的画面。创作者修改走位或运镜,生成画面也随之更新。


EdenLive 管线

这是 VAST 新发布并开源的 EdenLive 展示的能力。按照官方定义,它是 VAST 的世界模型项目 Project Eden 系列的「实时生成式渲染器」。

给导演生成动画预演只是其中一个应用方向。游戏开发者也可以用它给已经能玩的简陋原型加上更完整的画面:玩家操控角色移动,AI 就跟着生成相应的场景。给它一段拍好的视频,它还可以保留原来的动作和镜头,把画面变成卡通、油画等任意风格。

这些用途背后,是同一个想法:创作者先确定场景里有什么、人物怎么动,再让世界模型维护状态和规则,并且呈现相应的画面。EdenLive 正在尝试把这项能力带进动画、游戏和视频制作等实际工作中。

世界模型要走向实际应用,需要找到创作者愿意使用的能力,以及这些能力进入现有工作流的方式。模型能生成什么,与用户愿意拿它完成什么工作,之间还有一段需要摸索的距离。

作为 Project Eden 的阶段性成果,EdenLive 开始把 VAST 对世界模型的技术判断,转化为可以被使用和检验的产品能力。从动画预览、游戏创作到视频重渲染,这些具体场景构成了它探索应用落地的起点。

私有化部署外,EdenLive 也已上线模型开放平台 Reactor,可直接试用。3D 资产编辑平台 Unbound Loop 已把 EdenLive 接入产品。

某种程度上,这是 VAST 世界模型的一次 G2M(Go-to-Market)尝试:让技术进入真实工作流程,再从创作者的使用中,寻找值得持续投入的需求。

01

让想法变成可实时交互的画面

假设拍一段搜索废弃医院的恐怖戏:主角推门进入病房,床帘后藏着一个人影。摄像机跟在主角肩后,还是留在门口,更有压迫感?窗帘拉开多少,才能让观众先发现危险,主角却浑然不觉?

创作者只需要用简单模型搭出病房、病床和床帘,安排人物走位与镜头运动,再把这段作为「剧本」的参考视频交给 EdenLive,配上一张与开场布局对齐的目标首帧,用提示词补充材质、光线和画风。模型就会沿着原来的动作与运镜,生成更具体的视觉画面。当创作者追加新的描述,画面就能随之变化。

人影藏得太深,就调整上游场景中的位置;跟拍太快,就放慢镜头,再看生成结果。EdenLive 也可以保持场景和运动轨迹的一致性,更换首帧与提示词,比较不同主体、色调和材质下的氛围——它能帮助团队更早看见调整后的效果。

EdenLive 甚至可以直接参与一个游戏里实时画面的生成。

与 EdenLive 同步,VAST 开源了一款给编程智能体使用的 skill,EdenGolem(v0.1)。只需文字输入一段玩法,智能体便会分「明确规则和主题-搭建角色和场景-接入运行逻辑-补全界面和验收流程」四个阶段,生成一个可以直接上手玩的 3D 灰盒游戏。

根据灰盒游戏画面、事件描述、目标首帧和提示词,EdenLive 就能生成接下来的画面,不需要为特定游戏单独设计接口。

格斗游戏 Demo

比如上面这个有点像小霸王时代格斗游戏的 Demo,玩家按下移动键和技能键,画面的人物就能随之移动交互,命中可以扣掉敌人的血量,或者释放技能改变游戏的地形。而与普通游戏不同的是,玩家看到的动作与场景,不是来自预先搭建好的游戏场景和引擎驱动,是模型在游戏运行时不断生成出来的。

开发者因此可以先用代码智能体和 EdenGolem 搭出玩法和基本场景,再让 EdenLive 承担实时画面生成。这既能用于原型预览,甚至随着模型的技术的持续迭代,未来或许可以尝试一种新的游戏制作方式:不必预先完成全套精细美术资产,就让简单的可玩内容拥有更高质量的视觉效果。

还有用在视频重渲染,EdenLive 可以按首帧和提示词,把画面改成卡通、像素或油画风格,无须先重建三维场景。摄像头的实时画面也能作为输入;以及用在具身领域:把第一人称操作视频中的人手换成机械臂,或改变被操作物体的颜色与材质,扩展出不同的视觉版本。

EdenLive 展示了一种降低数字内容制作门槛的可能:过去,为了让一个游戏、一段动画拥有完整的视觉效果,需要投入大量精细建模、材质和灯光制作;现在,一部分工作有机会交给生成模型,在简单场景的基础上实时完成。

据 VAST 公布的信息,EdenLive 5B 模型能在单张NVIDIA RTX 5090上以超过 24 FPS 的速度生成 720P 画面,并支持分钟级连续生成。这意味着创作者因此可以观察一段连续的动作、运镜或游戏操作,而不只是几张效果图。

如果这条路径能够持续成熟,许多需要把虚拟场景「做出来、跑起来」的需求,都可能以更低成本实现。而单张 GPU 就能实时生成画面,也意味着这类尝试有机会进入更多小团队和个人创作者的工作台。它的价值不仅是把已有内容做得更快,还可能让一些过去不值得投入、或根本负担不起的创意,有机会被做出来。

02

让交互系统维护世界,

让模型呈现世界

当画面开始跟随操作生成,问题也随之出现:AI 怎么知道哪些东西可以改变,哪些必须保持不变?

潜水艇寻宝 Demo

比如潜水艇寻宝 Demo 里。潜水艇需要抵达指定位置、抓起宝箱,任务算完成。还有格斗游戏 Demo 中,一次踢腿命中,对手的血量掉了十几点。

这些结果必须由规则决定。潜水艇只是经过宝箱,不能算完成任务;一次攻击扣多少血,也不能交给模型临时发挥。

这正是「动作条件视频模型」面对的难题。这类方案根据键鼠操作或镜头轨迹,以及最近的画面,预测后续画面。当状态只隐含在上下文和已生成画面中,物体离开视野后的情况、血量和得分等数值,就很难像程序变量一样被直接查看、修改和验证。

EdenLive 延续的是 Project Eden 采取的路线:「解耦状态与渲染」。

它把系统分成三层:持续演化的世界状态、状态到画面的接口、生成式渲染器。EdenLive 实现其中的第二层和第三层,第一层则可以交给游戏程序、游戏引擎或动画工具。

以潜水艇为例,玩家按下按键后,游戏程序先计算移动与碰撞,判断有没有拿到宝箱,再输出参考画面。EdenLive 根据参考、目标首帧和提示词生成视觉效果;关键事件发生时,上游还可以追加事件描述。

于是,宝箱的位置、任务是否完成,都有独立记录。模型不必从之前的视频里重新猜测世界状态,可以把更多实时算力用在画面生成上。

配套工具也各有职责。EdenGolem v0.1 是给编程智能体使用的 Agent Skill,根据玩法描述生成可独立运行的灰盒游戏;前端工作台串起游戏生成、试玩与实时渲染。已有游戏或动画工具同样可以提供参考,无须从头生成。

要让这套流程有效,还需要分清参考中的结构与外观。灰盒没有丰富纹理,实拍视频却自带材质和光照,模型既不能把结果画成灰盒,也不能照搬原视频的质感。

EdenLive 使用专门微调的视觉编码器,把不同参考映射到同一个特征空间,保留共有的布局和运动信息。也就是让「物体在哪里、怎样移动」跟随参考,让「看起来是什么样」由目标首帧与提示词指定。

实时模式则采用逐块流式生成,根据已经到达的参考帧和保留的历史画面持续输出。上游模拟、参考编码与生成按流水线并行,使画面能够参与连续交互。

这条路线的价值,是把确定的规则留给上游交互系统,把视觉表达交给生成模型。3D 做状态表征与资产,视频做精细画面,两者互补,也让世界模型进入创作流程有了更明确的分工。

03

世界模型需要走出 Demo

看完 EdenLive 的演示,一个更值得追问的问题是:创作者会在什么情况下,真正打开它?

可能是导演想在开拍前,比较同一场戏的几种视觉风格;可能是独立开发者想在游戏里嵌入一个小玩法时,想找一个更高效的开发方式;也可能是视频创作者,希望保留拍好的动作与运镜,尝试另一种表达。

这些需求没有「生成一个世界」听起来那么宏大,却是世界模型走向实际应用必须回答的问题。技术最终要进入某个人的工作,帮助他完成一件具体的事。

EdenLive 的意义,也正在这里。作为 Project Eden 的阶段性成果,它让创作者有机会判断:它能不能帮自己更快确定一个方案,少做一些重复工作,或者尝试过去因为制作成本太高而放弃的想法。

找到这样的场景,对世界模型的发展本身同样重要。

Demo 是展示一项技术最有说服力的片段,真实创作却会不断提出新的要求。导演可能反复调整同一个镜头,游戏开发者可能要求环境和对象的变化符合一定的游戏底层逻辑。哪些细节可以交给模型自由发挥,哪些必须严格遵循参考,只有进入这些工作之后,才会变成具体的问题。

这样的反馈,会让模型的下一轮迭代更有方向。团队可以知道,当前最影响使用的是响应速度、角色外观变化,还是修改结果不够可控;也能判断,哪些能力看起来新鲜,却没有真正节省创作者的时间。落地因此不只是技术成熟之后的结果,也是推动技术继续成熟的过程。

从这个意义上说,EdenLive 是 VAST 为世界模型寻找落地方向的一步。此次开放模型权重、推理代码,以及 EdenGolem 和前端工作台,让开发者可以接入自己的内容、尝试自己的玩法。世界模型的价值,也开始有机会由真实使用来检验。

VAST 此前在 AI 3D 上的积累,为这一步提供了基础。三维资产和场景可以交代物体的位置、结构与运动,视频生成则负责呈现更丰富的视觉效果。把两者接起来,需要同时理解 3D、视频生成和实时运行中的工程问题。VAST 积累的多种参考与目标数据,以及跨越这些方向的团队,是它继续推进 EdenLive 的条件。

面向全球顶尖青年技术人才的 V·STAR 计划,也是在为这项长期探索补充力量。让更多研究者与工程师参与,解决真实使用暴露的问题,才能让今天的演示逐步成为创作者愿意反复使用的工具。

Project Eden 的定位是「下一代交互式内容创作的底层引擎」,VAST 的愿景是「让人人都能自由创造可交互世界」。要走向这个目标,需要先让具体的创作者用起来。对 EdenLive 来说,下一次值得关注的进展,或许就是越来越多的开发者、创作者用它完成了一项工作,并在下一个项目里继续选择它。

*头图来源:VAST

本文为极客公园原创文章,转载请联系极客君微信 geekparkGO

极客一问

低门槛做可交互场景,

会催生更多小众独立玩法吗?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
雷霆主帅称赞马拉首秀表现:他证明了自己具有比赛影响力

雷霆主帅称赞马拉首秀表现:他证明了自己具有比赛影响力

北青网-北京青年报
2026-10-21 20:49:02
高梓淇携女友出镜,小他15岁是漂亮空姐,热恋3年不敢让儿子知道

高梓淇携女友出镜,小他15岁是漂亮空姐,热恋3年不敢让儿子知道

椰黄娱乐
2026-10-21 14:57:46
中国燃油车销售占比首次跌破三分之一,马斯克:中国对石油的依赖正在快速下降

中国燃油车销售占比首次跌破三分之一,马斯克:中国对石油的依赖正在快速下降

支点财经
2026-10-19 14:45:39
全世界都被普京骗了?打乌克兰只是幌子,真正目标其实已悄悄布局四年

全世界都被普京骗了?打乌克兰只是幌子,真正目标其实已悄悄布局四年

扶苏聊历史
2026-08-27 16:15:02
中超第29轮大胆预测:大连击败蓉城!河南难敌御林军,山东送三镇一程

中超第29轮大胆预测:大连击败蓉城!河南难敌御林军,山东送三镇一程

刀锋体育
2026-10-21 07:50:11
太惨!NBA中锋遭粗个打爆,全场仅得1分,杨鸣看不下去:赶快裁了

太惨!NBA中锋遭粗个打爆,全场仅得1分,杨鸣看不下去:赶快裁了

南海浪花
2026-10-21 06:33:44
法媒:印度松绑换不来中企投资,杀猪盘玩多了,鱼儿不上钩了

法媒:印度松绑换不来中企投资,杀猪盘玩多了,鱼儿不上钩了

孤酒老巷QA
2026-10-21 04:14:38
长春下雪了!

长春下雪了!

吉刻新闻
2026-10-21 21:50:09
刘欢走了才敢说,要他的命不是股骨头坏死,而是明知红灯还硬扛

刘欢走了才敢说,要他的命不是股骨头坏死,而是明知红灯还硬扛

可乐谈情感
2026-10-21 10:49:25
纯电续航660km!大众新车官宣:10月21日继续开售

纯电续航660km!大众新车官宣:10月21日继续开售

科技阿维
2026-10-21 23:29:01
超强台风“蔷琵”已升至巅峰强度 路径出现大拐弯

超强台风“蔷琵”已升至巅峰强度 路径出现大拐弯

看看新闻Knews
2026-10-21 12:55:05
被中国田协除名真相大白后,张水华再破天花板,有一点她一直没变

被中国田协除名真相大白后,张水华再破天花板,有一点她一直没变

仙气美少女
2026-10-19 19:41:40
“传销巨头”张誉发:在泰国被捕,涉资超1000亿,3万人被割韭菜

“传销巨头”张誉发:在泰国被捕,涉资超1000亿,3万人被割韭菜

兵卒史
2026-10-22 03:04:20
美军从高空中坠落死亡!现场数万人呆若木鸡,如“死一般安静”!

美军从高空中坠落死亡!现场数万人呆若木鸡,如“死一般安静”!

铁锤侃侃而谈
2026-10-20 08:45:18
法国骚乱后,欧洲干了一件事,挺意外的

法国骚乱后,欧洲干了一件事,挺意外的

斐君观点
2026-10-21 11:03:01
沈阳去海南Z114次列车车票开售即售罄,网友称“提前半个月根本抢不到”,12306回应

沈阳去海南Z114次列车车票开售即售罄,网友称“提前半个月根本抢不到”,12306回应

上游新闻
2026-10-21 14:41:09
日本人早已看透:一旦中日真开战,中国根本不是只打眼前这一仗

日本人早已看透:一旦中日真开战,中国根本不是只打眼前这一仗

阿芒娱乐说
2026-10-21 07:59:10
不忍了,50岁李小冉再发文!11年没娃不是身体原因,5亿真相曝光

不忍了,50岁李小冉再发文!11年没娃不是身体原因,5亿真相曝光

观察鉴娱
2026-10-21 09:06:19
赵今麦明星图片

赵今麦明星图片

GC的007
2026-09-30 07:17:05
骇人听闻!身披旭日旗的陈宇昕被遣返,还有律师为他辩护

骇人听闻!身披旭日旗的陈宇昕被遣返,还有律师为他辩护

平老师666
2026-10-21 11:01:22
2026-10-22 06:12:49
极客公园
极客公园
让最棒的创新成为头条
12940文章数 78957关注度
往期回顾 全部

科技要闻

SpaceX收入暴涨!马斯克:这事"不再不可能"

头条要闻

21岁男子稻城亚丁高反死亡 其姐与报警人聊天记录披露

头条要闻

21岁男子稻城亚丁高反死亡 其姐与报警人聊天记录披露

体育要闻

“我,对得起天津足球!”

娱乐要闻

张柏芝自曝五点陪伴儿子 谢霆锋尴尬了

财经要闻

昔日彩电一哥缘何在今天被挤下牌桌?

汽车要闻

纯电/插混动力+乾崑智驾 北汽星钽5X预售价13.99万起

态度原创

数码
教育
本地
手机
房产

数码要闻

苹果系统塞进高通本!桌面和图标也跑通了

教育要闻

在南京,哪所小学“不卷”?其实卷的都是家长!

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

手机要闻

苹果公布Apple Music全新品牌标识,创作灵感来自声音振动、声波实拍

房产要闻

J&P 集团亮相 2026 中国品牌出海博览会| 深耕跨境20载,品牌出海有J&P

无障碍浏览 进入关怀版