网易首页 > 网易号 > 正文 申请入驻

马斯克点赞的APP来了!刚下场视频世界模型,就拿下评测第一

0
分享至


新智元报道


模型吃掉应用的故事反了,「可以玩的抖音」开源视频世界模型。

过去几个月,实时视频世界模型突然成为一张拥挤的牌桌。

PixVerse、LingBot、阿里「快乐生蚝」、智象未来等团队,先后发布实时视频世界模型、Demo,并不约而同地把第一站指向互动内容/互动娱乐/ AI游戏。

它们讲述的故事高度相似:当视频能够持续生成、实时响应,人就不再只是观看一段内容,而是可以进入一个由模型生成的世界。

一个强烈的行业预期正在形成:视频模型正在越过AI短剧的边界,向互动娱乐腹地推进。

熟悉的味道,像是又一次「模型吃掉应用」的前奏。

不过,新智元了解到一个特别的玩家打破了这个局面:

Loopit发布了实时互动世界模型Zing-0.5,在美团LongCat与复旦大学联合推出的可交互视频世界模型评测WBench中拿到第一。目前已经开源,并计划在2周内在Loopit APP(海外版)上线对应产品功能。


没有看错,就是那个以「可以玩的抖音」被外界熟知的Loopit,其产品上线后曾获马斯克点赞,两个月登顶欧美娱乐榜,累计融资1亿美元。

这家擅长做C端产品和全球增长的应用公司,反过来做出了自己的实时互动世界模型,并在公开评测中拿下第一。

模型吃掉应用的故事,似乎被反了过来。

但这次发布真正值得关注的,还不只是一个应用公司下场做模型拿到第一。

Loopit还提出了三个颇具争议的判断:

第一,空间探索与实时语义生成的联合控制,只是实时视频世界模型进入互动内容的入门门槛。

第二,纯实时视频流无法直接走到世界模型终局。多人、持续、可互动的数字世界,需要先由Code维护状态、规则和因果,再由 Pixel 完成开放的生成式渲染。这也是本次模型命名为Zing-0.5的原因。

第三,模应一体不是商业模式选择,而是走向端到端互动世界模型和构建互动内容产品的必经阶段,只有先把模型放进真实产品,积累「意图—行动—世界变化—用户反馈」的完整轨迹,未来才可能进一步把状态、规则和渲染统一进一个模型。

Loopit一边开源实时视频世界模型,一边戳破实时视频模型的「世界梦」。

它并不否认端到端的终局,而是提出了另一条抵达终局的路径:

先用Coding × Pixel把世界运行起来,再让端到端模型从这个世界里长出来。

开源github地址:https://github.com/seedleap/zing-world-model modelscope

模型下载地址: https://modelscope.cn/models/seedleap/Zing-0.5 huggingface

模型下载地址:https://huggingface.co/seedleap/zing-0.5

以下是新智元了解和实测的详细内容。

Zing-0.5在公开评测WBench中拿到第一

一个可互动的世界,既要允许用户控制「去哪里」,也要允许用户决定「发生什么」。

Zing-0.5通过两条同时运行的控制链路,让用户一边用键盘或手柄探索空间,一边用自然语言改写接下来发生的事情。

Loopit将这项能力概括为「联合控制」:

空间操作决定用户去哪里;

语义输入决定世界发生什么;

两种控制共同作用于同一段持续生成;

新指令进入当前世界,而不是用一段新视频替换当前世界。

围绕这条控制链路,新智元体验了五个逐步加深的 Case。

Case 1:飞行没有中断,巨龙开始喷火

在骑龙飞行约43秒后,输入「龙嘴巴喷火」。

火焰与烟雾随即出现,但巨龙仍沿原方向飞行,洞穴、瀑布和远处光源没有被重置。喷火结束后,飞行继续,前后仍是一段完整的世界演化。

骑龙飞行43秒后输入「龙嘴巴喷火」

Case 2:一句指令,同时改变人物和多座雕像

第二个Case把难度提高了一层。

在石像场景的第 14 秒,新智元输入:

祈祷:主控人物跪地祈祷,所有人脸雕像睁开眼睛。

人物随即跪地,雕像睁眼并发光。角色继续移动时,原有人物和雕像仍保持各自的位置,玩家也可以继续观察结果。

这要求模型不仅理解「发生什么」,还要区分「谁发生变化」以及「哪些对象同时变化」。

主控人物祈祷,多座雕像同时睁眼

Case 3:第一条改写仍在生效,第二条指令已经到来

第三个Case从相同初始画面、相同操作轨迹和相同Prompt出发,将 Zing-0.5 与同类模型进行对比:

  • 第4秒输入「暴风雪」,改变全局天气;

  • 第22秒输入「远方人像睁眼」,改变局部对象。

难点在于,第二条指令必须发生在已经被暴风雪改变的世界里,而不是重新生成场景。

结果显示,在连续改写任务中,Zing-0.5 能够更稳定地把新指令写入当前世界。

相同起点下的「暴风雪—远方人像睁眼」连续改写对比,左侧为Zing-0.5,右侧为另一开源模型

Case 4:一直向前走,主角和通道还能保持原样吗

连续生成的难点,并不只是多生成几秒,而是不要越走越偏。

连续生成的难点不只是多生成几秒,而是不要越走越偏。

从相同画面出发持续前进时,Zing-0.5中老鼠的耳朵、体型和黄色背包基本保持稳定。同类模型则逐渐出现角色颜色、比例和形态变化,通道墙面和方向也明显偏移。

同起点、同操作下的持续前进对比,左侧为Zing-0.5,右侧为另一开源模型

Case 5:加入一朵蘑菇,不能顺手换掉整个世界

第五个Case选择了一个像素风格的游戏世界。

第7秒,新智元输入:

一个蘑菇出现在前方。

两边都生成了蘑菇,但Zing-0.5延续了原有像素风格,角色、道路和远处建筑仍属于同一个世界。

响应Prompt和保持一致性是两种不同的能力。实时生成不仅要知道增加什么,也要知道什么不该改变。

像素世界中途生成蘑菇,左侧为Zing-0.5,右侧为另一开源模型

新指令如何进入一个正在运行的世界

五个Case测试的其实是同一个问题:新指令能否进入当前世界,而不是替换当前世界。

为此,Zing-0.5设计了两条独立、但共同进入Causal DiT的控制链路。


语言和操作两条链路共同进入 Causal DiT

移动、转向和视角变化等连续信号经过sin/cos编码与因果时序卷积,形成逐帧 action residual,并与对应视频token对齐。文本条件改变时,动作链路仍然连续运行,所以巨龙能够一边飞行一边喷火,人物也能一边移动一边观察环境变化。

训练时,Zing-0.5会在自回归生成中途切换Prompt:保留已经生成的视觉历史和操作历史,再用新的文本条件预测后续内容。

因此,「中途改写」不是在线推理时额外拼接的功能,而是模型从训练阶段就开始学习的能力。

action residual让世界继续运动,cross-attention把新指令写入当前生成;两者共同决定接下来发生什么。

连续生成,难的不是更长,而是接住自己的错误

很多视频世界模型最开始的几秒都足够惊艳,但角色持续移动、反复转动视角,再加入新的动作和事件后,误差会逐渐累积。

原因在于,模型后面看到的「历史」不再是真实视频,而是自己刚刚生成的结果。

为此,Zing-0.5会在训练中主动扰动部分历史画面,加入噪声、轻微模糊、颜色偏移和视角变化,模拟连续生成中的误差;训练目标则始终保持干净、正确。

模型需要从不完美的历史中判断:哪些是世界真正的状态,哪些只是生成偏差,并预测出更稳定的未来。

这套方法主要发生在训练阶段,不需要在线增加额外的纠错模型。它改善的不只是单帧观感,更是世界持续运行后的角色、结构和视觉一致性。


带扰动历史、当前扩散块与干净训练目标

5B、消费级显卡和六分钱:互动必须先过经济性这一关

一个世界即使能够被控制、能够连续生成,如果每次操作都要等待,交互体验仍然无法成立;如果每一分钟都需要昂贵算力,它也无法成为大规模消费内容。

在内部测试中,Zing-0.5使用单张RTX 5090生成视频可以超过24 FPS;按照线上服务对应的推理配置,一分钟流式视频的推理成本约为人民币6分钱。

为了实现上述极致的成本控制,Zing-0.5通过DMD将原本需要多轮计算的视频生成蒸馏至4步;推理时使用增量KV Cache复用视觉历史,只有用户更换指令时才更新文本条件。

5B 的模型规模同样是产品导向的选择。Loopit没有单纯依靠增加参数换取效果,而是把联合控制、一致性、实时性和成本放进同一个约束中。

模型不仅要生成Demo,还要进入真实产品,被用户持续使用。

然而,恰恰是在把实时视频能力做出来之后,Loopit团队更加笃定此前的判断——

实时视频不是世界。

戳破实时视频的「世界梦」:先让Code 维护世界状态

Loopit 技术联创Henry曾担任Seedance后训练负责人,他对实时视频路线的判断很直接:

「多人、持续、可互动的数字世界,需要稳定的状态、规则、记忆和多人一致性。这些不能在今天全部交给视觉模型完成。现阶段,需要由 Code 承载世界状态、Pixel 负责生成式渲染,先让世界真正运行起来。」

一座桥在画面中坍塌,并不代表系统知道桥已经不存在。一千个用户分别看到合理的画面,也不代表他们生活在同一个世界里。

画面只需要看起来合理,世界的事实却必须持续正确。

世界不是一串连续像素,而是一条连续的后果链

一个长期运行的世界必须知道:此刻有哪些实体存在,每个实体处于什么状态,什么事情已经发生,哪些规则仍然有效,一次行动改变了什么,以及不同用户是否共享同一套结果。

如果这些信息全部隐含在视频上下文中,模型每生成下一帧,都在重新推断「接下来最可能出现什么」。短时间内,它可以制造极强的世界感;但时间越长、实体越多、交互越复杂,视觉上的合理就越难等同于事实上的成立。

视频模型仅能预测下一帧,而Code能维护并执行下一世界状态。

AI Coding负责把人的意图转化为可以运行的实体、状态、关系、规则、事件和逻辑,并在用户持续行动后更新这些世界事实;生成式渲染器负责把世界事实转化为连续画面、声音、运动、材质和光照。

确定性来自可执行状态,想象力来自视频生成。AI Coding让世界成立,视频模型让世界被看见。

Zing-0.5当前完成的,正是后面这一半,这是「0.5」这个名字真正想表达的技术边界。

完整的Zing-1.0,将是AI Coding × 视频生成:行动不只改变接下来看到的画面,也改变世界事实;一次改变不只在当下出现,还会进入规则、角色、事件和其他参与者共同生活的世界。

为什么互动世界模型必须「模应一体」

为什么Loopit不直接采购外部模型,而要自己训练模型、搭建产品闭环?

Loopit CEO陈炜鹏曾是百川智能联合创始人和大模型技术负责人,他的判断是:

有成熟数据的领域,例如文本模型和文生视频模型,纯模型路线大概率胜出;

没有成熟数据的领域,例如自动驾驶和互动世界模型,模应一体路线大概率胜出。

大语言模型有海量网页,文生视频模型有海量视频。但互动世界模型需要的不只是画面,而是「用户想让世界怎样改变—系统如何响应—用户是否满意—接下来又做了什么」的完整轨迹。

这种数据不存在于现成数据集中,也很难靠人工标注获得。模型必须先进入真实产品,让用户用继续、退出、分享和Remix,定义什么样的互动真正有趣。

这可能催生一种介于短视频、游戏和社区之间的新内容形态:用户不只观看或选择分支,还能在体验过程中继续改变内容;一个人的行动和创造,也会成为其他人体验和Remix的起点。

新的内容形态既没有现成的好坏标准,也没有规模化训练数据。必须先有一个产品容器,让用户真正玩起来。

这就是Loopit所说的「模应一体」:

产品出题,模型解题,用户判卷。

产品把真实需求和失败转化成模型任务,模型迭代改善体验,再吸引更多用户创造和反馈。应用与模型共同生长,才能逐渐积累「意图—行动—反馈—后续选择」的独有数据。

为何Loopit如此笃定这条非共识路线?

新智元梳理Loopit此前的访谈、产品迭代和公开信息发现,AI Coding × 多模态生成的Co-Design路线,以及「模应一体」的判断,并不是Zing-0.5发布后临时补上的叙事,而是团队此前反复提出并持续实践的方向。

这种笃定,很可能来自Loopit同时拥有两种很难出现在同一支初创团队里的视角。

第一种,是横跨Coding模型与视频生成模型的技术架构视角。

陈炜鹏和李施政来自百川智能,Henry曾负责Seedance后训练。这样的团队组合,天然能够同时看到两类模型各自擅长什么。

第二种,是来自大规模真实用户的新型互动内容需求视角。

截至发稿前,Loopit内部数据显示,平台已经拥有超过500万注册用户,用户创作了近1500万份互动内容,累计游玩超过20亿次,并产生近500亿次交互轨迹。

模型能力、产品场景和真实数据闭环,同时出现在同一个组织中。

这可能才是Loopit践行「模应一体」路线最大的底气。

是模型吃掉应用,还是从应用长出模型?

回头看,Zing-0.5的信息价值从来不在于Loopit又发布了一个实时互动世界模型。

真正值得讨论的是,这家公司正在对行业最流行的直觉提出反问。

当实时视频越来越逼真、越来越长,它就会自然成为世界吗?

还是必须先让Code维护状态和因果,让Pixel负责开放渲染,在真实产品中把世界运行起来?

Loopit并不否认端到端的终局。它的判断是:纯Pixel无法凭空抵达端到端。必须先有Coding × Pixel,先有真实运行的世界和用户交互闭环,才可能把状态、规则、因果与渲染进一步统一进一个模型。

因此,模型与应用的关系也被反了过来:不是先训练好一个世界模型,再寻找应用;而是模型先进入应用,从真实世界的运行和反馈中,逐渐长成更完整的模型。

从下一帧到下一状态,再从混合架构走向端到端,互动世界模型的路线之争才刚刚开始。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“韦东奕这么牛,为啥没女孩子喜欢他呢?”女儿白了我一眼说:“别的先不讲,要是有人能把这三点都接纳了,我不光服,还得佩服。”

“韦东奕这么牛,为啥没女孩子喜欢他呢?”女儿白了我一眼说:“别的先不讲,要是有人能把这三点都接纳了,我不光服,还得佩服。”

背包旅行
2026-09-01 11:59:13
“最强小三”当街露侧乳热吻男友 儿子陪同

“最强小三”当街露侧乳热吻男友 儿子陪同

游民星空
2026-09-04 15:23:46
华盛顿的决策者们该竖起耳朵听清了:任何导弹落在中国领土

华盛顿的决策者们该竖起耳朵听清了:任何导弹落在中国领土

小马姨
2026-09-04 12:53:48
美国“林肯”号航母停靠泰国期间,两名美军水兵酒后打架闹事,被送回舰上“禁足”;此前当地下禁令:美军不准进红灯区、不得开展水上活动

美国“林肯”号航母停靠泰国期间,两名美军水兵酒后打架闹事,被送回舰上“禁足”;此前当地下禁令:美军不准进红灯区、不得开展水上活动

大风新闻
2026-09-04 17:30:36
2死6伤!A级通缉犯关押一年被无罪释放,湖南郴州人肉炸弹案始末

2死6伤!A级通缉犯关押一年被无罪释放,湖南郴州人肉炸弹案始末

易玄
2025-04-19 08:22:01
第20届亚运会中国体育代表团成立,运动员共815人

第20届亚运会中国体育代表团成立,运动员共815人

澎湃新闻
2026-09-04 09:56:03
科大讯飞出轨女主更多照片曝光:她长得娇小可爱,丈夫应该再给她一次机会

科大讯飞出轨女主更多照片曝光:她长得娇小可爱,丈夫应该再给她一次机会

汉史趣闻
2026-09-01 13:47:29
韩方拒换涉台标牌,中方在开幕前断然撤展,光说道歉已经不管用了

韩方拒换涉台标牌,中方在开幕前断然撤展,光说道歉已经不管用了

墨兰史书
2026-09-04 06:25:10
引进8艘中国潜艇后,巴基斯坦转向土耳其,还是更青睐西方武器?

引进8艘中国潜艇后,巴基斯坦转向土耳其,还是更青睐西方武器?

史行途
2026-09-04 14:19:45
美国白宫网站上线抓捕移民游戏,网友直呼“太卑劣”

美国白宫网站上线抓捕移民游戏,网友直呼“太卑劣”

澎湃新闻
2026-09-04 16:44:31
丈夫出轨足浴店店长并生育子女 67岁女子担心财产被分勒死丈夫 获刑无期

丈夫出轨足浴店店长并生育子女 67岁女子担心财产被分勒死丈夫 获刑无期

红星新闻
2026-09-03 18:22:35
赛力斯问界销量近乎腰斩,“遥遥领先”为何卖不动了?

赛力斯问界销量近乎腰斩,“遥遥领先”为何卖不动了?

大厂财经社
2026-09-02 13:22:05
机务闯大祸!加油车未拔油管就开走 国航747-8客机被扯坏加油口 狂撒一地燃油

机务闯大祸!加油车未拔油管就开走 国航747-8客机被扯坏加油口 狂撒一地燃油

中国能源网
2026-09-02 17:20:06
一个主字,砍断了44万医生的退路

一个主字,砍断了44万医生的退路

宝哥精彩赛事
2026-09-04 11:04:02
蛇到底能活多少年?人类天生怕蛇,为什么蛇始终没有灭绝?

蛇到底能活多少年?人类天生怕蛇,为什么蛇始终没有灭绝?

农夫也疯狂
2026-09-04 09:48:55
7分钟100公里6000多条命!尼泊尔的未来被锁死了

7分钟100公里6000多条命!尼泊尔的未来被锁死了

鲁八两
2026-09-03 17:43:56
手臂伤病暴涨112%!阿尔卡拉斯直言要长期休赛,网坛赛历饱受诟病

手臂伤病暴涨112%!阿尔卡拉斯直言要长期休赛,网坛赛历饱受诟病

网球之家
2026-09-04 13:31:53
暴雨大暴雨、降温近10度,新一轮冷空气6日来,台风杜鹃将生成?

暴雨大暴雨、降温近10度,新一轮冷空气6日来,台风杜鹃将生成?

环球科学猫
2026-09-04 12:43:38
5年2.08亿!火箭非全额顶薪提前续约阿门 上季多数据创新高成核心

5年2.08亿!火箭非全额顶薪提前续约阿门 上季多数据创新高成核心

醉卧浮生
2026-09-03 22:42:05
看完我家那闺女才懂,陈妍希陈晓离婚另有隐情,岳母一语道破

看完我家那闺女才懂,陈妍希陈晓离婚另有隐情,岳母一语道破

陈意小可爱
2026-09-04 15:31:38
2026-09-04 18:20:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16104文章数 67025关注度
往期回顾 全部

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

头条要闻

景区NPC女孩因"不好看"薪水不及预期 1次打10支玻尿酸

头条要闻

景区NPC女孩因"不好看"薪水不及预期 1次打10支玻尿酸

体育要闻

小卡来去10首轮,快船7年彩礼一场空

娱乐要闻

古天乐公司欠债1.49亿

财经要闻

姚洋:刺激消费要守住两个“大西瓜”

汽车要闻

限时权益价28.99万起 FREELANDER神行者8正式上市

态度原创

家居
健康
本地
亲子
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

脑梗取栓成功≠活下来,还有这三关

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

亲子要闻

爸爸早起去出婚车,把沾喜气的小礼物给女儿,4岁女儿高兴坏了

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版