网易首页 > 网易号 > 正文 申请入驻

双榜第一背后,他们想做的不是下一个世界模型

0
分享至

编辑|牛来

今年交互视频世界模型成了大热门。

阿里 HappyOyster、蚂蚁 LingBot、生数科技 Vidu S2、爱诗科技 PixVerse R2 等接连亮相。

虽然技术路线各有侧重,但各家目标高度一致,都想让 AI 视频能实时响应用户操作,支持连续交互,生成一个可以自由探索的虚拟世界。

当然,我们对距离真正开放、长期运行的生成世界一直抱有保守期待,毕竟真正落地有不少技术与工程难题。

但现实的进展,往往快过预期。

最近,我们在交互视频世界模型评测 WBench 的榜首,看到了一个新名字:Murea-Pro。

它在多轮交互视频评测 WBench Full-289 中,以 81.1 分拿下第一。其中拉开差距最大的交互能力和物理合理性,分别取得 82.6 和 74.4 的高分。



Wbench 链接:
https://meituan-longcat.github.io/WBench/#leaderboard

生成速度方面非常亮眼,RTX PRO 6000 可以做到 3.6 s 生成 5s 长度视频, RTF < 1 (Real-Time Factor,实时因子),处理速度快于音频播放速度,实现了实时视频。

我们在该模型官网,发现它还有一个轻量型的开源版本:Murea-Fast。

这个「轻量型」并不逊色,在参考生视频评测 OpenS2V-Eval 中,以 64.98 分位居参评开源模型第一,其 NexusScore 达 51.66,在参考还原能力上同样排名第一。

两项成绩,让这组模型进入了我们的视野,在认真拆解了它的技术报告以及经过实测后,发现很多有意思的地方:这个团队的野心,不是下一个世界模型,而是更好玩、更有想象空间、能更快落地的 ——实时互动内容模型。


视频地址:https://mp.weixin.qq.com/s/_YAaKBXAJuwOjXcFovarLA


脱离「看视频」的逻辑,这更像在一个 AI 生成的世界里真正「玩」起来。

技术解读:Murea-InWorld 如何维持一个持续演化的世界?

Murea-InWorld 采用两层协同架构。

每轮交互开始时,上层的 Murea-Mind作为模型大脑,会读取当前世界状态、用户指令和上一段视频的结束画面,规划下一个事件,充当编剧和导演和核心角色;下层的 Murea-Pro 和 Murea-Fast负责执行生成相应的画面与声音;生成结果随后交给大脑模型检查,确认发生的变化再写回世界状态,成为下一轮交互的依据。

这一过程可以概括为「状态、行动、生成、观测」。

这种双层协作,可以让模型避免出现生成虽快,但内容无意义的情况,真正做到让用户用自然语言来持续改变一个有记忆、有声音、可以回档分支、支持多人参与的虚拟世界。



  • 技术报告链接:https://murea.ai/page/paper/InWorld-technical-report.pdf
  • GitHub链接:https://github.com/Murea-Labs/InWorld
  • Hugging Face链接:https://huggingface.co/MureaLabs/InWorld
  • 官网链接:https://murea.ai/

让这套闭环稳定运转的关键,是持续更新的世界状态。系统在视频模型之外维护一套「账本」,人物和场景的参考图、声音、固定描述被保存为资产;人物位置、服装、情绪、随身物品,以及天气、光线等信息则持续更新。固定身份与动态状态分开管理,可以降低角色外观和剧情变化互相干扰的概率。

用户撤销操作时,系统恢复生成前的状态快照;重新选择则创建并行分支,原有视频与剧情继续保留。多人模式下,每名玩家的输入先转换为结构化动作,再由系统统一编排进同一画面。



World Agent 总览。上层保存世界记忆;中层把用户指令转换成生成条件并保存片段;下层回看生成画面,为后续规划和部分状态更新提供依据。

世界状态确定之后,Murea-Pro 和 Murea-Fast 负责生成画面与声音,其核心机制是Omni-Reference Generation。人物、动物、物品和场景参考会被分别编码为干净的条件 latent,并获得独立编号。参考素材不参与加噪和去噪,主要作用是稳定人物身份和外观。



左侧是输入参考,右侧是同一生成视频的连续采样帧。可重点看人物、猫、布料与庭院的组合,以及多人同框、写实和风格化场景中的实体对应。

视频与音频在同一个 DiT 中联合生成。受控注意力机制先让参考信息作用于各自模态,再通过正片中的视频和音频 token 建立联系。训练数据使用结构化描述,明确每个参考对应谁、由谁说出哪句台词,以及动作和镜头发生的时间顺序。



音视频生成框架总览。模型能力的三层结构。上方 (a) 说明参考图、可选声音参考和文本如何共同控制音视频生成;左下 (b) 说明 MeanFlow → DMD 两阶段蒸馏;右下 (c) 说明带有限历史的流式续写

连续生成采用有限历史窗口策略。视频侧主要保留前一个片段,音频侧保存更长的上下文,用来衔接未说完的句子和人物语气。训练时,系统会给历史内容加入噪声或 latent 扰动,使模型提前适应前序片段存在瑕疵的情况。

低延迟则主要依靠少步蒸馏与系统优化。Murea-Pro 经过 50 步到 4 步蒸馏及系统优化后,在 8 张 H20 上将 5 秒有声音视频的生成时间由 231.6 秒缩短至 6.96 秒,端到端累计加速 33.3 倍。

换用 RTX PRO 6000 Blackwell,同一套管线生成 5 秒有声音视频只需 3.6 秒。按照「生成耗时 / 成片时长」计算,其实时因子RTF 约为 0.71。

RTF 低于 1,说明模型生成速度快于视频播放速度。换句话说,在该硬件和测试条件下,Murea-Pro已经达到实时生成的速度门槛。



从左到右看延迟,从上到下看累计优化。8 张 H20 上,生成 5 秒音视频的延迟由 231.6 秒降至 6.96 秒,累计加速 33.3 倍;其中 50 → 4 次模型评估先将延迟降至 23.2 秒,后续优化继续降低开销。每一行都保留此前优化。

评测结果印证了两款模型各自的能力侧重。

在 WBench Full-289 中,Murea-Pro 以 81.13 分排名第一,其交互能力为 82.60 分,物理合理性为 74.42 分,分别领先第二名 9.52 分和 5.23 分。



具体来看,Murea-Pro 在事件编辑、角色动作和视角切换上表现突出。其中,事件编辑得分 90.92,角色动作得分 87.04。导航得分为 71.79,是四类交互任务中相对较弱的一项。

画面质量方面,Murea-Pro 得到 79.97 分,整体处于较高水平。



Murea-Fast 的优势集中在多参考生成,在 OpenS2V-Eval 中获得 64.98 分,位居参评开源模型第一,其 NexusScore 达到 51.66,为被测参考生视频系统最高。在扩展评测 OS2V-Pro 中,Murea-Fast 的逐参考保真度为 46.0,排名第一;片内身份一致性达到 89.0,并列第一。



由此可见,Murea-Pro 擅长多轮指令执行和物理因果,Murea-Fast 在多参考身份保持方面表现突出。

一手实测:AI 能否把一段故事持续演下去?

当然除了这些成绩和技术原理,我们更想知道,在当下「互动」还普遍是预制的阶段,真的能实现让用户在 AI 世界里,「玩」起来吗?

我们抢先体验了一把 Murea-InWorld。

系统随机生成一个科幻世界,自动设定人物、场景和故事主线。

故事很简单,但里面很多细节值得关注。



首先是连续性和一致性上,主角手里的平板道具在第一段视频后,已经被面板记录,从而在后续十几轮的交互里,一直是主角拿着,也一直是这个平板。

普通视频续写主要依靠此前的画面维持连续性,角色拿过什么、物品现在归谁,并不一定有明确记录。一旦镜头切换,这些信息就可能丢失。

但 Murea-InWorld 可以在连续生成十几段视频,人物外貌、随身道具、背景环境依然保持稳定。


视频链接:https://mp.weixin.qq.com/s/_YAaKBXAJuwOjXcFovarLA


其次是自然语言的即时生成,每轮视频结束后,Murea-InWorld 都会根据当前剧情推荐后续行动,选一项系统即可自动推进剧情和镜头,无需逐段编写详细提示词。

我们还可以临时改变剧情,直接输入:「画面突然出现了一只小猫。」

系统随即为它创建独立资产,下一段视频里,一只三花猫出现在控制室。此后镜头切换,它的外观依然保持一致,没有因为场景变化而突然消失。

而且小猫出现的过程中,剧情和台词会根据此刻场景(空间站)以及主角动作来给出自然的衔接,保证了剧情体验的一致性。


视频链接:https://mp.weixin.qq.com/s/_YAaKBXAJuwOjXcFovarLA


再一条指令让小猫绕着主角转一圈,系统也正确识别了动作主体和目标,两个角色的动作关系也没有出现混淆。


视频链接:https://mp.weixin.qq.com/s/_YAaKBXAJuwOjXcFovarLA


在这 15 轮交互里,Murea-InWorld 给人最直观的感受是,故事没有随着视频片段增加而「失忆」。主角手中的道具不会无故消失,临时加入的新角色也能进入后续剧情,玩家还可以随时介入并改变走向。

目前来看,Murea-InWorld 已经让连续生成有了接近实时互动的感觉。

生成式互动世界,能打开多大的市场?

生成式互动世界最直接的价值,在于将内容生成放进用户参与的过程之中。

传统互动内容通常需要提前设计情节、制作素材并提前制作大量分支,更偏向一种「预制」。而 Murea-InWorld 系统利用 Murea-Mind 的大脑能力,可以让玩家用自然语言随时改变世界走向,这是一套新的实时互动内容生产范式。

这套范式真正做到了「让一千个玩家,玩出一千个哈姆雷特」,它可以延伸进游戏、互动叙事、虚拟角色、在线娱乐等众多场景。

多家机构估算,相关市场合计已达百亿美元量级,叠加 AI 陪伴等相邻赛道的增速效应,这一数字有望在 2030 年前后扩展至 500 亿美元。若高质量互动内容渗透率达到全球内容娱乐市场的 10%,对应的长期规模更是将突破千亿美元。

不过,市场空间再大,最终还得靠产品体验说话。从 Murea-InWorld 展现出的模型能力与系统完成度来看,Murea Labs 团队已在构建实时互动内容模型的方向上迈出了值得关注的一步。

接下来,就看他们能否在游戏、影视和互动娱乐等场景中,持续将技术潜力转化为真实体验,找到规模化落地的机会。令人期待的生成式世界未来,就在不远处。

murea.ai 链接:https://murea.ai/

WBench 链接:
https://meituan-longcat.github.io/WBench/#leaderboard

技术报告链接:
https://murea.ai/page/paper/InWorld-technical-report.pdf

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
人在监狱服刑,网贷记录多了十多万?湖北黄冈一男子称入狱20多天,就被人冒名贷款、转走资金超38万元

人在监狱服刑,网贷记录多了十多万?湖北黄冈一男子称入狱20多天,就被人冒名贷款、转走资金超38万元

台州交通广播
2026-10-18 21:13:05
中国留学生在课堂身披旭日旗,钧正平发声:无论身处哪个国家、哪所校园,为军国主义张目都是对人类良知的公然冒犯,为人所不齿

中国留学生在课堂身披旭日旗,钧正平发声:无论身处哪个国家、哪所校园,为军国主义张目都是对人类良知的公然冒犯,为人所不齿

扬子晚报
2026-10-19 07:23:07
诺奖早已变味,中国科技无需西方盖章

诺奖早已变味,中国科技无需西方盖章

华山穹剑
2026-10-18 19:38:16
秒怂!在莫斯科教室披旭日旗大闹课堂的中国留学生,被举报至大使馆后拍视频道歉

秒怂!在莫斯科教室披旭日旗大闹课堂的中国留学生,被举报至大使馆后拍视频道歉

不掉线电波
2026-10-16 15:03:07
尊界刹车事件,三部门还没出结论,舆论就已经反转了!

尊界刹车事件,三部门还没出结论,舆论就已经反转了!

葱哥说
2026-10-18 21:43:54
父亲遛狗儿子坠亡最新!警方刑事立案,母亲曝光铁证,果然有阴谋

父亲遛狗儿子坠亡最新!警方刑事立案,母亲曝光铁证,果然有阴谋

萧佉影视解说
2026-10-18 22:44:19
生活成本上涨加重负担,社会发展模式面临压力,骚乱凸显法国治理深层困境

生活成本上涨加重负担,社会发展模式面临压力,骚乱凸显法国治理深层困境

环球网资讯
2026-10-19 06:45:32
超1000架无人机和17枚火烈鸟袭击俄罗斯,莫斯科和圣彼得堡遭大规模打击

超1000架无人机和17枚火烈鸟袭击俄罗斯,莫斯科和圣彼得堡遭大规模打击

山河路口
2026-10-18 14:04:26
上海演员吴越凌晨发文怒斥:这位“花姐”骗了多少人的钱?请如数奉还!

上海演员吴越凌晨发文怒斥:这位“花姐”骗了多少人的钱?请如数奉还!

上观新闻
2026-10-18 09:53:50
央媒定调“尊界刹车门”事件:各打五十大板,懂车帝危险了

央媒定调“尊界刹车门”事件:各打五十大板,懂车帝危险了

鸣金网
2026-10-18 16:59:30
男子打羽毛球时不慎摔倒,裤兜里的手机突然爆燃,致其二级重度烧伤,知情人:手机刚买两个月

男子打羽毛球时不慎摔倒,裤兜里的手机突然爆燃,致其二级重度烧伤,知情人:手机刚买两个月

第一财经资讯
2026-10-18 14:40:44
到处都在过紧日子,为什么税务招了近七成的国考编制?

到处都在过紧日子,为什么税务招了近七成的国考编制?

大何日拱一卒
2026-10-18 18:19:37
特朗普公开表示:法国正在燃烧,来自不同世界、心中充满仇恨的移民,摧毁了这个曾经伟大的国家,马上关闭边境、控制局势,一切都还来得及

特朗普公开表示:法国正在燃烧,来自不同世界、心中充满仇恨的移民,摧毁了这个曾经伟大的国家,马上关闭边境、控制局势,一切都还来得及

吉刻新闻
2026-10-18 22:13:26
汉庭快捷有门店推出“欢聚六人房”,顾客称像是“美丽豪华大宿舍”,有网友建议全国推广,华住会官方客服回应

汉庭快捷有门店推出“欢聚六人房”,顾客称像是“美丽豪华大宿舍”,有网友建议全国推广,华住会官方客服回应

极目新闻
2026-10-18 17:12:20
5-0!英超第1黑马狂飙 33岁少帅率队6连胜+升次席 7轮轰23球超曼城

5-0!英超第1黑马狂飙 33岁少帅率队6连胜+升次席 7轮轰23球超曼城

我爱英超
2026-10-18 23:07:04
中超笑话,如果成都蓉城最后一轮输给大连,将创造4大名场面

中超笑话,如果成都蓉城最后一轮输给大连,将创造4大名场面

南海浪花
2026-10-18 22:24:08
美引以为傲的优势消失,至少落后中国10年,美媒:中国在全国动员

美引以为傲的优势消失,至少落后中国10年,美媒:中国在全国动员

闻识
2026-10-18 09:46:03
留学生“精日”行径引众怒,知情人士讲述处置过程

留学生“精日”行径引众怒,知情人士讲述处置过程

环球网资讯
2026-10-19 00:34:05
细思极恐!云南教授吃饭发现不对劲,掀开桌布惊现数百个2厘米小人正在行军,美国科学家跨国追查10年真相仍扑朔迷离!

细思极恐!云南教授吃饭发现不对劲,掀开桌布惊现数百个2厘米小人正在行军,美国科学家跨国追查10年真相仍扑朔迷离!

徐德文科学频道
2026-10-18 17:16:48
为什么每个朝代到后期都没钱?看完网友分享我破防了,画面感很强

为什么每个朝代到后期都没钱?看完网友分享我破防了,画面感很强

夜深爱杂谈
2026-10-17 19:21:55
2026-10-19 07:56:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14235文章数 142748关注度
往期回顾 全部

科技要闻

王江舟院士:6G到底是不是骗局 是不是收割

头条要闻

披旭日旗的中国留学生是南京人 疑多次表态支持"台独"

头条要闻

披旭日旗的中国留学生是南京人 疑多次表态支持"台独"

体育要闻

别在我的地盘夺冠!海港队史首次双杀蓉城

娱乐要闻

郭麒麟被传领证,女方戳破谣言

财经要闻

马斯克:美债问题只能靠AI和机器人解决

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

家居
旅游
亲子
数码
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

大阪中国游客锐减61.5%,日媒着急

亲子要闻

我将重复播放观看

数码要闻

不搞混合架构:Intel下代CPU做到16个纯大核!

军事要闻

乌克兰全国超15处重要能源设施遭俄袭击 泽连斯基发声

无障碍浏览 进入关怀版