网易首页 > 网易科技 > 网易科技 > 正文

AI世界开口说话!谷歌世界模型Genie 4有多神?

0
分享至

出品 | 网易智能

作者 | 小小

编辑 | 王凤枝

骑着巨龙掠过山谷,视角随你转动,耳边是振翅声和呼啸而过的风声。谷歌这次展示的AI世界,已经有了几分亲手玩游戏的感觉。


图:谷歌官方演示节选,GIF不含声音

美国当地时间10月27日,谷歌DeepMind发布新一代世界模型Genie 4的研究预览。此前,用户已经能进入AI生成的场景四处探索。这次,风声、水声和音乐也能随画面一起生成,场景里的人物还能根据用户输入和眼前发生的事,开口接话。

用户也可以边玩边改。想让大晴天突然下雨,或者往场景里加个新角色,直接输入文字,AI就会顺着改动继续生成。谷歌邀请的电影创作者正在尝试拿它做拍摄预演:同一场戏,换个机位、改句台词,先在AI里试一遍,再决定怎么拍。

这些玩法目前还只向少量受邀测试者开放。谷歌计划随后通过Project Genie向Google AI Ultra订阅用户提供,尚未公布具体日期。

图:Google DeepMind发布Genie 4

01骑龙、坐热气球,想去哪里自己控制

开头的骑龙演示里,视角一直留在骑手的位置。黑龙的头颈就在眼前,身旁有其他龙飞过,前方的山谷渐渐让位于一座城堡。画面下方保留着键盘按键,往哪飞、怎么转向,由用户自己控制。

谷歌为这段演示写了很长的场景设定:山地竞速、其他骑手、带有投石机的城堡,以及风声、振翅声和远处的轰鸣。镜头也受到限制,不能突然切到第三人称,更不能跳到巨龙外面,变成一段跟拍视频。

保持这个视角,用户才能一直待在骑手的位置上,转头看看旁边的对手。如果镜头突然跳到远处,自己便又成了观看飞行场面的旁观者。

想安静一点,也可以去湖上听一段萨克斯。

谷歌另一段演示中,一名穿棕色西装的男子站在湖上平台演奏。周围长着野草和树木,旁边悬着一颗发出暖光的球体,远处是雾蒙蒙的水面。

这组提示词要求采用16毫米胶片质感,使用柔和的阴天光线,不要过度锐化,也不要强烈的明暗对比。声音只留下湖水、风和萨克斯,不另加背景配乐。你可以移动镜头凑近乐手,也可以把视线转向远处的湖面。

图:官方演示截图。右上角记录了追加鲸鱼尾巴的指令

听到一半,突然想往湖里加点东西,也可以继续输入。截图右上角就记录了一条追加指令:让鲸鱼尾巴从演奏者身后的水面慢慢露出来,同时保持原有的胶片风格。画面里,乐手还在原来的位置,背后的湖面上多出了鲸鱼尾巴。

为了这个临时冒出的念头,用户不必重新描述整幅画面,可以沿着眼前的场景继续改。

南极热气球演示则换成了高空视角。冰川铺到远处,热气球散布在空中,用户像站在吊篮里一样观察四周。原始设定还写到了篮筐的皮革包边、支撑杆和链条,希望这些近处的细节能让人感到自己确实身处吊篮之中。


图:官方演示节选,保留了移动和视角控制按键;GIF不含声音

几组演示里的输入方式相近:用按键决定往哪走、朝哪看,用文字补充希望发生的事。用户每次改变方向或提出要求,模型都要继续生成后面的画面,而不是把一段固定视频换个播放进度。

02场景有了声音,里面的人也能接话

这次最容易听出区别的升级,是原生音频。

按照谷歌的介绍,Genie 4可以在生成世界的同时生成环境音、背景音乐和角色对白。湖面上可以有水声和乐器声,飞行时可以有风声,人物也能根据用户的要求或场景里的事件作出回应。

这些对白并非提前配好、反复播放的固定台词,用户中途改变情节,人物也能顺着新情况接话。用户可以一边探索,一边编故事,试着让场景里的人参与进来。

不过,“边玩边改”本身并非Genie 4首次提出。2025年8月发布的Genie 3,已经展示过通过文字改变天气、加入物体或人物的能力;今年1月推出的Project Genie原型,则还没有包含这项功能。谷歌当时展示过这项能力,普通用户却还没能用上。

Genie 4继续往前做的一步,是让这些临时变化带上声音和人物反应。

沃顿商学院教授伊桑·莫利克(Ethan Mollick)试出了一个很不寻常的城市。他要求模型生成一座由机器人和马居住的新哥特式粗野主义城市,称它约一分钟就创建了出来。随后,他又往里面加龙,再加一只友好的水獭NPC,整个过程都在实时进行。

图:莫利克分享的个人体验

他的另一段尝试更荒诞。他用《毁灭战士》(DOOM)的元素改造办公室:电脑在播放《DOOM》,墙壁也在播放,随后又要求一位“恶魔同事”出现,给自己发奖金。他一句接一句地提要求,眼前的办公室也跟着变。

用户不必提前写好一整套剧本。先生成一个地方,进去转一圈,再决定下一步让谁登场、发生什么,想法可以边逛边补。

谷歌还展示了一个由彩色玻璃构成的世界。山脉像层叠的玻璃板,河流是半透明的蓝色,花朵也带着玻璃雕塑般的棱角。提示词要求镜头在其中穿行时,所有物体都保持玻璃或晶体材质,不能突然混进普通石头和真实植物。

图:官方演示节选;GIF不含声音

镜头移动起来,维持画风就比生成一张图片多了些要求。新的景物会进入视野,用户还可能临时加进一个角色。模型得接着生成,又不能让玻璃世界走着走着变回普通山水。

莫利克也没有把体验说成完美无缺。能不断加东西,让探索变得有趣;但加进来的东西能不能一直留在那里、行为是否合理,还得继续看。

03玩得下去,还得看它会不会忘掉刚才的场景

谷歌CEO桑达尔·皮查伊(Sundar Pichai)在发布帖中,把Genie 4称为谷歌迄今最逼真、互动性最强的世界模型,强调了原生音频、可说话的人物,以及通过Gemini推理组织多步骤事件的能力。

图:皮查伊介绍Genie 4

公司对外公布的限制也不少。

据TechCrunch报道,目前单次模拟约两分钟,但这不代表其中所有物体和细节都能稳定保持两分钟。

谷歌在技术介绍中承认,随着用户探索、连续修改场景,画面细节和物体的持续存在都可能出现偏差。复杂物理交互、声音的准确度、画面里的文字、空间位置,以及更长时间的一致性,仍是研究中的问题。

真玩起来,一个检查办法就是转回头看看:刚才路过的建筑还在不在?放在桌上的东西有没有消失?玩家要继续往下探索,模型就得记住前面生成过什么。

社交媒体上的讨论也开始盯着细节。账号@cfenghub整理的评论中,有人质疑摩托车演示里的车把动作:画面虽然像在骑车,转向是否符合真实摩托车高速行驶时的操作,却未必经得住推敲。

仅凭网友对这段演示的质疑,还不能判断整个模型的物理能力。不过,车辆怎么转弯、物体怎么碰撞、声音何时响起,确实都得逐项看,画面逼真并不能代替这些检验。

今年1月开放的Project Genie原型,每次生成最多60秒。不过,Genie 3模型在2025年发布时,就已展示过持续数分钟的交互。产品开放时设置的时长,与模型能让场景稳定保持多久,并不是同一个指标。

对暂时还不能上手的普通用户,更有用的观察是:测试者能否连续完成自己想做的事,中途改几次要求后,原来的场景还能保留多少。单次体验时间变长,只有和这些表现放在一起,才容易判断进步到底有多大。

04 Gemini安排下一步,Genie生成接下来的世界

要让场景跟着用户的要求变化,谷歌还引入了Gemini。

在实时交互演示中,Gemini会观察当前画面,理解用户想做什么,安排后续步骤,再检查场景是否按计划推进。用户改了要求,或者画面出现新情况,它也要相应调整。

湖上萨克斯的演示就给出了一个直观例子。用户要求加入鲸鱼尾巴,右上角的推理说明不仅记录了新增物体,还写到水花和原有胶片质感。后续生成需要同时顾及这些条件,不能只把鲸鱼塞进画面就算完成。

按谷歌介绍,Gemini 3.8 Flash负责计划、检查和调整,Genie 4负责生成可探索的环境。谷歌将这类分工称为“混合世界模型”。

其中,涉及人物外貌和行为的研究还结合了Gemini Omni的能力。用户看到的是一段连续体验,背后却不只一个模型在工作。

谷歌还做了另一项机器人模拟实验,使用Gemini 4 Argon、Genie 4和Gemini Robotics,让Apptronik的Apollo人形机器人在虚拟场景里下跳棋。

图:左侧为Gemini 4 Argon的步骤说明,右侧为Genie 4生成的机器人模拟画面

图里的步骤写得很细:机器人面对怎样的棋盘,哪只手伸向哪枚棋子,另一只手放在哪里,都有对应描述。Genie 4再生成这些动作发生时的场景,让研究人员观察计划如何在模拟中展开。

这里展示的是机器人行动的模拟,不是实体Apollo已经通过Genie 4训练、掌握了下棋能力。Argon参与的这项研究,也不能和前面由Flash引导的实时体验混成同一个配置。

机器人领域账号@TheHumanoidHub看重的,正是这类环境可以不断变化。现实里,搭建不同场地、准备物体、让机器人反复试动作,都要付出时间和成本。若能在虚拟环境里先尝试不同安排,研究人员就有机会更快地发现问题、筛选方案。

机器人最后还是要在现实里伸手拿东西。模拟中的棋子怎样受力、手指碰到桌面会怎样,都会影响这些尝试有没有用。前面提到的物理交互和空间精度问题,在这里便不只是影响观感,还关系到模拟结果能否作为后续工作的依据。

05完整游戏还早,拍电影可以先拿它试镜头

相比让机器人在现实中完成动作,拍摄预演对模拟的要求有所不同。电影创作者首先想看的是,一场戏怎样拍出来更合适。

谷歌介绍,受邀测试的电影创作者正在尝试用Genie 4做拍摄预演。同一场戏可以换机位、调整光线,修改人物动作和对白,比较不同版本,而不必每次都从头生成整个场景。

这类预演不需要立刻产出最终成片。创作者先借它试镜头,再把选中的方案带回正式制作。前期讨论时,想换个角度、改句台词,都可以先在生成的场景里看看效果。

游戏开发者试的则是场景和玩法原型:先探索不同的视觉风格、材质和互动,再决定哪些值得放进游戏引擎继续开发。前面的玻璃世界,便能帮助人理解这种用途。一个设定在静态概念图里好看,进入其中移动之后是否仍然成立,可以更早看见。

还有摄影记者尝试将档案照片扩展为可探索的场景。模型补出的是照片画框之外的空间,不能把这些未被拍下的细节当成历史事实。这类用途尤其需要把原始记录与AI生成的内容分清。

世界模型对游戏业的影响,早已引起市场关注。今年1月,谷歌推出由Genie 3驱动的Project Genie原型后,Unity、Roblox和Take-Two等游戏相关公司的股价曾下跌。那是上一轮发布后的市场反应,并非这次Genie 4发布后的新行情。

投资者担心的是,生成式工具会不会改变游戏的制作成本、开发流程和内容供给。但目前这些短时模拟,还不能直接替代需要稳定规则、存档、长时间运行和多人协作的完整游戏。谷歌正在与合作伙伴研究怎样把它接入已有工作流程,尚未给出全面替代现有制作工具的方案。

想自己试试,目前还需要等待。谷歌先向少量受邀测试者开放研究预览,后续计划进入Google AI Ultra用户使用的Project Genie,并向Gemini API和Google AI Studio的早期合作伙伴提供。普通用户的具体开放日期尚未公布。

相关推荐
热点推荐
36岁女演员自曝确诊!睡觉时突然抽了一下,紧接着全身不能动,越来越多年轻人中招,严重或引起瘫痪

36岁女演员自曝确诊!睡觉时突然抽了一下,紧接着全身不能动,越来越多年轻人中招,严重或引起瘫痪

新民晚报
2026-10-27 11:57:19
属兔人警惕:10月末家中一人“要走”?先别哭小心坏情绪挡了财运

属兔人警惕:10月末家中一人“要走”?先别哭小心坏情绪挡了财运

户外阿崭
2026-10-28 19:23:27
一个农村出来的天才被自己的家人给毁了

一个农村出来的天才被自己的家人给毁了

清晖有墨
2026-10-22 09:38:10
场均17+5+7+2!两队猛追火箭队弃将,斯通无动于衷?底薪就能签全能控卫

场均17+5+7+2!两队猛追火箭队弃将,斯通无动于衷?底薪就能签全能控卫

熊哥爱篮球
2026-10-28 13:03:47
广东一男子买54斤甘蔗,回家复秤发现有73斤,戏称“大爷狠起来连自己都骗”,男子:大爷的秤有磨痕导致不准,已经买了新秤打算送给大爷

广东一男子买54斤甘蔗,回家复秤发现有73斤,戏称“大爷狠起来连自己都骗”,男子:大爷的秤有磨痕导致不准,已经买了新秤打算送给大爷

台州交通广播
2026-10-28 02:10:22
武契奇败选后抛出预言:明年3月或4月,塞尔维亚就会加入对俄制裁

武契奇败选后抛出预言:明年3月或4月,塞尔维亚就会加入对俄制裁

慕名而来只为你
2026-10-27 19:34:03
中印边境生变!莫迪政府产生大胆想法:索要中国5800平方公里领土

中印边境生变!莫迪政府产生大胆想法:索要中国5800平方公里领土

离离言几许
2026-07-29 19:26:35
亚洲最高电缆塔逆袭!重庆1.2亿改造,2027年亮灯惊艳全城

亚洲最高电缆塔逆袭!重庆1.2亿改造,2027年亮灯惊艳全城

坠入二次元的海洋
2026-10-28 18:17:25
好奇查了一下宋佳的学历,不查不知道,一查惊呆了!她根本不是科班学表演出身的,而是学柳琴的,已经拿到音乐学院录取通知书才临

好奇查了一下宋佳的学历,不查不知道,一查惊呆了!她根本不是科班学表演出身的,而是学柳琴的,已经拿到音乐学院录取通知书才临

品读时刻
2026-10-26 09:09:13
为母则刚!凯特新发的全家福里,一家五口很幸福,藏着她的坚韧与隐忍

为母则刚!凯特新发的全家福里,一家五口很幸福,藏着她的坚韧与隐忍

照见古今
2026-10-28 13:44:58
强烈的预感:大陆统一台湾前,会有一个前兆,美国不会等最后时刻

强烈的预感:大陆统一台湾前,会有一个前兆,美国不会等最后时刻

一路荒凉如歌a
2026-10-16 09:15:01
韩练成赴海南受降,却将国军一个旅全员缴械枪决:该杀就杀

韩练成赴海南受降,却将国军一个旅全员缴械枪决:该杀就杀

纪史行者
2026-10-26 01:15:07
公交改革来了!不再全由财政兜底,今后乘车、老年优惠会变吗

公交改革来了!不再全由财政兜底,今后乘车、老年优惠会变吗

铭记历史呀
2026-10-24 00:28:25
“徽剑”遇害案家属获赔50万元并出具谅解书,受委托人:曾有两壮汉上门,为避免事端签署

“徽剑”遇害案家属获赔50万元并出具谅解书,受委托人:曾有两壮汉上门,为避免事端签署

新京报
2026-10-27 20:44:56
不到24小时娱圈又传2大噩耗,46岁演员离世,赵明令人意外

不到24小时娱圈又传2大噩耗,46岁演员离世,赵明令人意外

寒士之言本尊
2026-10-28 13:38:37
姆巴佩道歉后,多方最新发声!

姆巴佩道歉后,多方最新发声!

大风新闻
2026-10-28 09:04:09
WTT冠军赛:王曼昱连赢3个11-9开门红!淘汰埃及名将晋级16强

WTT冠军赛:王曼昱连赢3个11-9开门红!淘汰埃及名将晋级16强

全言作品
2026-10-28 21:17:29
墙上14个大字,看懂的不超过1%——你的眼力到哪一层?为什么大家都说二王的书法好,你是真懂还是假懂呢?

墙上14个大字,看懂的不超过1%——你的眼力到哪一层?为什么大家都说二王的书法好,你是真懂还是假懂呢?

书画相约
2026-10-24 21:55:48
别再喊055“万吨大驱”了,这次真正在东海扛住美日压力的狠角色

别再喊055“万吨大驱”了,这次真正在东海扛住美日压力的狠角色

果妈聊娱乐
2026-10-24 09:44:55
时光催人老,昔日歌手孙楠,竟一眼认不出了

时光催人老,昔日歌手孙楠,竟一眼认不出了

娱你同欢
2026-09-06 19:59:11
2026-10-28 22:15:00

科技要闻

宇树科技前三季净利暴增270%

头条要闻

演员董勇车险续保被卡维权 吐槽太平洋保险"店大欺客"

头条要闻

演员董勇车险续保被卡维权 吐槽太平洋保险"店大欺客"

体育要闻

0胜4负与篮网国王一桌 热火字母哥赌错了?

娱乐要闻

巾帼不让须眉!章子怡拿下重磅荣誉

财经要闻

iPhone Duo七年等来一场吐槽大会

汽车要闻

上市即交付 腾势Z9S诠释豪华体验与用心交付

态度原创

教育
家居
旅游
亲子
手机

教育要闻

我们要尊重别人的观点,除非他们的观点是错的

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

下关金星村深藏着一座华将军祠,是当地本主庙,知道的人已经很少

亲子要闻

萌娃手绘古诗《赠汪伦》,每一笔都是奇思妙想

手机要闻

荣耀WIN2手机红蓝Buff开箱图赏:兼顾速度和力量感的设计

无障碍浏览 进入关怀版
×