![]()
《星月夜》是梵高在圣雷米精神病院疗养期间画下的一幅名画。你有没有想过,有一天能直接“走”进这幅画里,在奇幻的星空与柏树间自由穿行与漫步?
这个愿望已经实现了!
4月16日,阿里巴巴正式推出了世界模型HappyOyster(快乐生蚝),一款可以实时构建、自由交互的世界模型产品。
HappyOyster来自阿里ATH创新事业部,和此前爆火的“快乐马”(HappyHorse)同属一个团队。如果说之前的AI视频工具是帮你“生成一段视频”,那么HappyOyster想做的,是直接为你生成一个可以玩、可以改的数字世界。
![]()
什么是“世界模型”?
HappyOyster基于原生多模态架构建立,支持多模态理解与音视频联合生成,目前可以实现漫游(Wander)和导演(Direct)两个核心能力。也就是说,用户可以实时构建可互动、可演绎、可探索的 AI 数字世界。同时,生成的数字世界,不仅能被完整保存,还能开放给其他人进行二次创作。
本质上来说,阿里的HappyOyster和谷歌的Genie3做的是同一类东西,叫“世界模拟器”。那么,什么是“世界模型”?
你可能用过一些文生视频工具。通常情况下,先输入一段描述,再等上几十秒渲染,生成一段固定画面的视频。这段视频,你只能看也不能改。HappyOyster不是简单地渲染画面,而是它学会了理解这个世界的空间、物理和因果规律。因为这一流派采用长时间跨度上的世界演化建模方式。通过学习海量长视频数据,以及文本、动作指令、图像参考等多样控制信号,模型能够主动理解空间、物理与因果规律,预测情节和画面的演变。
比如,它知道物体掉下来会受重力影响,知道人转身时光影会变化。也就是说,AI不仅能生成视频,而且可以实时模拟世界的演化。你可以像玩游戏一样,在里面自由走动,或者随时开口改变剧情走向。从而把“被动生成内容”转变为“主动模拟世界演化”,为构建可交互的通用世界模拟器提供了关键技术路径。
相比谷歌,HappyOyster采用了时间跨度更长的世界演化建模方式,使得模型能够保持高保真、长时序的动态场景生成。简单地说,就是画面一直保持清晰真实,时间长了也不会乱。
另外,设计之初模型就设计了多样的控制信号,在同一个时间框架下,画质、时长和实时可控性这三件事可以一起优化,不用牺牲哪个来换另一个。
同时在产品能力上,HappyOyster有自己的差异化优势。除了支持漫游探索,它还独家提供实时导演功能。你可以随时用自然语言发指令,比如“让主角左转”“突然下雨”,直接介入世界的演化,调度角色和事件。实现从被动探索到主动创作的跨越。
漫游模式畅游梵高作品《星月夜》
漫游模式控制人物运动
通过漫游和导演的双模式,HappyOyster能让你沉浸在一个可以自由互动的数字世界里。
比如在漫游模式中,只需要一句话或一张图,就可以生成具备物理一致性的完整空间,物体位置稳定、场景持久存在,视角与光照也能跟随第一人称视角持续移动。当你在《星月夜》里闲逛时,你看到一间房子,走近或离开房子不会消失或者变形。场景也是一直存在的,即使你转个身回来,房子和树还在那儿。另外,你还可以在画里自由地切换方向,想去哪儿就去哪儿。目前Happy Oyster支持长达1分钟的连续实时位移与镜头控制,并支持多样化的风格切换。
在导演模式下,用户能够在视频的任意节点,通过文字、语音或图像等多模态输入,随时实现镜头切换、剧情改写、角色调度,在充分的交互中生成一个光照、重力、角色动作与场景因果持续演化的世界,并能选择不同的题材风格。
也就是说,你可以在视频播放的任意时刻,通过打字、说话甚至发一张图,随时指挥AI。比如“让主角往右转身”“挥挥手”等,AI就会根据你的命令实时生成新的画面。在这个模式下,你创造的世界是活的:光照会变化、物体会受重力影响、角色的动作和场景的因果逻辑也会持续演化。
导演模式可在任意节点改变剧情走向
目前,HappyOyster的导演模式支持连续生成3分钟以上的480p或720p实时画面。
不过当前漫游与导演两大模式还没完全打通,不过未来你可以在世界里一边逛一边改,边玩边创作。
![]()
全球顶尖玩家
纷纷押注“会模拟世界的AI”
除了阿里的HappyOyster和谷歌的Genie 3,世界模型已经成为全球科技巨头们押注的下一个风口。
英伟达推出的Cosmos系列,专门为机器人和自动驾驶训练“物理AI”;Meta也在秘密研发代号“Avocado”的模型,试图让AI通过视觉理解环境。由“AI教母”李飞飞创立的World Labs,则拿出了Marble模型:只要上传一张图或一段话,就能生成可自由漫游、可导出的3D世界,还开源了渲染器Spark 2.0;明天即将在港股完成敲钟仪式的“杭州六小龙”之一的群核科技,广义上来说也属于“世界模型”玩家,只不过它走的是一条截然不同的技术路线。
![]()
英伟达推出的Cosmos世界模型
虽然这场吸引了全球顶尖玩家的前沿竞赛才刚刚开始,但有些行业的内容创作和互动体验,已经被悄悄改写了。
比如游戏领域,开发者可以快速生成可玩原型,玩家能实时驱动世界演化,不需要预设脚本就可以实现动态剧情分支与开放世界探索,大幅降低内容生产成本并提升沉浸感。
也就是说,以前开发一个新游戏要做策划、搭场景、写脚本,花几个月才能玩上第一个测试版。现在开发者只要说一句话,HappyOyster就能快速生成一个可以玩的游戏原型。玩家也不再是被动跟着预设剧情走,而是能实时影响世界的演化。你往左走还是往右走,AI都会现场给你编出新剧情,每次玩都是不一样的体验。这样一来,游戏内容的生产成本大大降低,沉浸感却直线上升。
影视创作时,导演不需要等待漫长的渲染周期,只要用自然语言描述创意,系统就可以实时生成分镜画面,并支持在视频的任意节点改变镜头、角色和剧情,让创意验证时间大大缩短;在文旅与教育领域,用户不再被动地观看历史复原视频,而是能以第一视角走进名画现场或过往文明,在交互中探索因果、改写走向,实现从知识传递到沉浸体验的跃迁。
在未来,HappyOyster还能应用于线下智能空间或娱乐场景,例如与穿戴设备等智能硬件结合,根据人的位置、动作与语言动态,实时生成沉浸式内容,让数字世界与现实共振。
文 | 沈积慧
阿里突然杀出一匹开源“快乐马”?
修车学徒掀翻雅马哈和杜卡迪
招股书显示:宇树强到可怕
点喜欢
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.