VAST开源实时世界模型EdenLive！单消费级显卡、720P超24FPS

听雨 发自 凹非寺
量子位 | 公众号QbitAI

VAST的世界模型，今天有了新成果。

实时世界模型EdenLive，正式发布并开源。

据VAST介绍，EdenLive首次实现了在实时生成的前提下，同时完成任意参考输入、任意画风生成和长时连续运行。

具体来说，给它简化场景或参考视频，再配上目标首帧和提示词，就能沿着参考的布局与运动，持续生成写实、二次元等不同画风的精细画面。

参考来源可以不同，生成画风可以指定，而这些变化都能在实时生成过程中呈现。

在单张消费级显卡Nvidia RTX 5090上、720P条件下，5B模型的生成速度超过24FPS，还能持续生成分钟级画面。

据VAST介绍，从用户输入操作到对应画面出现，这套系统目前的端到端延迟为百毫秒级。

画面持续变化的同时，交互规则和世界状态由上游交互系统维护。系统接收玩家操作、更新状态，EdenLive再根据对应的参考画面，将这些变化实时呈现出来。

最近，AI在3D场景搭建与交互创作上的能力，变得越来越直观。

GPT-6 Astra就是一个典型例子：它已经能够在Blender里搭建房屋，再将其转入Unreal Engine 5，形成可以进入、漫游的场景。

当AI能够搭建场景、设计交互玩法，如何让这些内容获得精细且实时的视觉表现，也就成为接下来需要解决的问题。

在这样的背景下，一条技术路线逐渐成为行业共识：由交互系统维护底层状态和运行规则，再由生成模型负责视觉渲染。

而这套分工，VAST早在今年6月初就已经明确并对外发布成果。

当时公开的Project Eden研究预览，已将「状态维护与视觉渲染解耦」作为核心设计。

从时间上看，这一路线选择早于行业共识形成约3-4个月。

如今，EdenLive作为这条路线的阶段性成果发布，并开放模型权重和推理代码，同步公开技术报告与端到端Demo。

代码：
https://github.com/VAST-AI-Research/EdenLive

项目主页：https://vast-eden.ai/?p=edenlive

技术报告：
https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf

开放权重：
https://huggingface.co/VAST-AI/EdenLive

多种参考输入，不同画风实时生成

EdenLive的核心价值，在于为简化场景和交互内容提供高质量实时渲染，底层逻辑与状态则继续由上游交互系统维护。

它具体能做什么？我们先来欣赏一波Demo。

交互式游戏预览

首先是交互式游戏预览，2D、3D场景都可以接入。

现阶段，EdenLive更适合场景漫游、推箱子等交互相对低频的玩法，让创作者在操作游戏原型的同时，查看精细画面下的呈现效果。

【此处无法插入视频，遗憾……可到量子位公众号查看～】

比如岩浆闯关，角色用冷冻枪制造落脚点，再通过跳跃一路前进。

要让这样的游戏画面随着操作持续更新，生成速度首先得跟上。

据VAST公布的数据，在单张消费级显卡RTX 5090、720P条件下，EdenLive的5B模型生成速度超过24FPS，也就是每秒生成超过24帧画面。

另一个Demo——双人对打游戏，则能具体展示角色动作与血条、回合计时等游戏状态的配合。

除了画面更新速度，按下按键后多久能看到反馈，也直接影响交互体验。

据VAST介绍，EdenLive目前从用户输入到对应画面出现，端到端延迟为百毫秒级。

这套系统还支持分钟级连续生成，让场景漫游和连续操作有更长的展开空间。

场景与动画预览

除了游戏互动，EdenLive还可以用于场景与动画预览，在场景布局和运镜已经确定的基础上，更换不同的美术风格。

比如，让大家天天玩的「鹈鹕骑自行车」成真……

从未见过如此栩栩如生之鹈鹕啊。

生成画面不仅让羽毛和海边环境有了细致的质感，还模拟出了真实的光影。

用简单模型搭出的雪地行车场景，经EdenLive生成后，也呈现出了更写实的车身纹理、积雪和光影效果。

这些画面的生成，由三类输入共同控制：参考画面提供场景布局、镜头与运动，目标首帧设定整体外观和画风，提示词则补充风格与细节。

因此，同一套布局和运镜，可以用来生成不同美术风格的版本，供导演和概念设计师比较、选择。

视频重渲染与换⽪

已有视频也可以交给EdenLive重新渲染，实时替换角色形象、画面内容和整体风格。

比如，将蓝色背景前的真人转换成卡通角色，但人物姿态和服装配色仍与参考画面保持一致。

这类用法类似虚拟主播换形象，以真人的动作作为参考，生成另一种角色外观。

再比如，将实拍房屋转换成手绘动画风格。

房屋的大体布局得到保留，屋顶、墙面和窗框则用线条重新勾勒，色彩与光影也变得更加柔和。

具⾝数据增强

EdenLive还可以用于具身数据增强，将真实人类操作画面转成机器人视角，并对第一视角视频中的物体和外观进行修改。

比如这段视频中，人手拿着喷壶和抹布清洁台面。

经EdenLive生成后，双手被替换成机械手，抹布从橙色变成了黄色，但清洁动作仍然与原视频保持一致。

除了替换操作主体，第一视角视频中的物体、材质和颜色也可以调整。

比如把人手替换成金属机械手臂，推车扶手换成银色金属质感，但抓握和推行的动作与原视频保持一致。

这样，已有操作视频就能衍生出不同外观的版本，为具身研究扩展视频样本。

从简单的2D动画、3D场景，到实拍视频和第一视角操作画面，这些不同来源的素材，都可以作为EdenLive的参考输入。

用同一模型接收多种参考，沿着已有布局与运动改变视觉表现，再以实时、分钟级连续生成的方式输出画面，正是这组Demo共同展示的核心能力。

现阶段，EdenLive也仍存在一些需要改善的地方。

高频、激烈的交互对生成速度和动作呈现有更高要求；多个角色同时出现时的身份保持、小物体的精细控制，以及长时间生成中的视觉一致性，也有进一步提升的空间。

不过，VAST已经开放了不同规格的模型权重和推理代码，同时公开了技术报告和上述端到端Demo。

官方还将同步开源Game Prototype Turbo，一款「Prompt to Proxy Game」Skill。

用户可以通过它快速生成可直接游玩的游戏原型。游戏运行时，交互系统持续更新状态，并输出对应的简化参考画面；EdenLive再将这些画面实时渲染为精细的视觉内容，反馈给玩家，形成从游戏逻辑到实时视觉呈现的完整链路。

大家都可以去体验一下～

拆解EdenLive技术路线与核心壁垒

接下来，我们来看看EdenLive背后的技术路线究竟是怎样的。

其采用的核心技术是「解耦世界状态与视觉渲染」，也就是把世界如何运行、画面如何呈现分开处理。

比如这段街头对打Demo：

角色的移动、攻击和防御，都由玩家按下相应按键来控制；交互系统接收操作，更新角色位置和动作，并判断攻击是否命中、血量如何变化。

EdenLive则根据这些变化生成画面，让左边简单的方块角色，在右边呈现为更写实的人物。

玩家看到画面反馈，再继续按键操作，游戏便沿着这套循环推进。

我们把这套分工放进完整管线，还能看得更直观：

图中，简化场景或参考视频提供布局与运动，目标首帧和提示词指定外观与细节。

EdenLive结合这些输入，持续输出精细画面；游戏逻辑和状态更新，则由上游交互系统负责。

这也呈现出了EdenLive在Project Eden中的职责。

Project Eden是VAST长期推进的世界模型研究项目，EdenLive则是其中聚焦实时生成式渲染的阶段性成果。

管线看起来清楚，但实际做起来，还需要同时兼顾几件事：

画面足够精细、动作跟得上参考、生成速度满足交互需求，还能持续运行。

这就涉及数据如何采集和配对，以及3D、视频生成与系统工程之间如何协作。

首先是数据积累。

要让模型把简单的方块角色生成写实人物，同时与参考画面保持相应动作，就需要建立参考与生成画面之间的对应关系。

场景布局、镜头运动和物体位置，都需要在数据中得到对齐。

据VAST介绍，其数据管线覆盖2D、3D简化场景、引擎渲染和真实视频等多种来源的成对数据。

从素材采集、场景构建到数据配对，这些工作共同支撑了EdenLive对不同参考和场景的处理能力。

第二层积累，来自跨领域的团队协作。

EdenLive涉及3D、视频生成与系统工程：既要处理空间结构和运动约束，也要生成细致的视觉效果，还要让模型以足够快的速度持续运行。

而VAST的团队配置，也覆盖了这几个方向。

这些要求需要放在同一套系统里协调。画面质量提高后，推理速度能否跟上；外观发生变化时，角色动作能否继续贴合参考，都需要模型与工程团队共同解决。

第三层积累，则是路线判断与持续研发。

在此前公开的Project Eden研究预览中，VAST已经明确提出「解耦」设计：

将世界状态与视觉生成分离，让底层状态独立于摄像机视角持续存在，再由渲染模块将其呈现为画面。

围绕这一思路，VAST进一步给出了三层架构：持续演化的结构化状态、状态到观测的接口，以及生成式神经渲染，分别承担状态维护、观测转换和画面生成的职责。

这一路线选择比行业共识提前了约三四个月。这段时间，也构成了团队沿着既定方向继续积累数据、打磨模型与系统的研发窗口。

沿着3D这条路，走向可交互的世界

从这套分工来看，EdenLive延续的仍然是VAST原有的路线。

构建一个可交互的世界，需要角色、道具和场景资产，也需要明确物体的位置、尺度与空间关系。3D为这些内容提供了可组织、可操作的基础，并参与世界状态的表达。

视频生成则负责细致的视觉呈现，将已有的结构与运动转化为丰富的材质、光影和动态效果。

两者结合，才能让创作者一边调整场景和玩法，一边获得相应的画面。

这也解释了，VAST为什么会进一步走向世界模型研究。

原有3D模型的能力，除了生成资产，还可以参与构建世界模型所需的数据。

在Project Eden的研究介绍中，VAST提到，团队利用已有3D能力，从视频中提取深度、相机位姿和几何运动轨迹等结构信息；同时，利用游戏引擎获取相互对应的状态信息与渲染画面。

这些工作，将VAST此前在3D模型和数据管线上的积累，延伸到了世界模型需要解决的结构、状态与视觉对应问题上。

从创作流程看，这条路线也在逐步扩大用户能够完成的事情：生成角色和道具，搭建场景，加入交互规则，再为运行中的内容赋予不同的视觉表现。

这也对应着VAST提出的愿景：让人人都能自由创造并体验可交互世界。

Project Eden承担着这一长期探索，EdenLive则先推进其中的实时生成式渲染环节。

对于创作者，它也提供了一个更具体的入口：把已经能运行的场景和玩法接入模型，在实际操作中尝试画面效果，在此基础上继续修改自己的作品。

One More Thing

等等，先别划走。

如果你感兴趣的话，VAST也在为这些研究寻找新同事。

其推出的V·STAR顶尖人才计划，全年开放招聘，面向全球青年算法与研究人才，聚焦3D生成基础模型、三维理解、智能体与世界模型。

VAST强调开放、扁平的研究环境，鼓励年轻研究者提出新想法，好的技术思路可以快速立项、验证，即便是实习生，也有机会参与核心模型训练，深入模型研发与工程实践。

待遇也是真的香～

无论是全职还是实习生都有机会拿到比头部大厂更具竞争力的薪资，特别优秀者上不封顶，还有长期期权。

如果你也想拥有定义问题的自由，从零推动一个项目，亲历一家头部AI公司从1到100的爆发式成长，获得最宝贵的创业经验，可以试试这个投递通道：

简历发送至vstar.talent@vastai3d.com，邮件标题请注明：VSTAR - 姓名 - 毕业时间

— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态