刚刚，谷歌Genie 4发布！世界模型还得是谷歌

文章转载于量子位

作者：梦瑶

实时、改环境、语音指令、Gemini…全来了？？？

刚刚，Google DeepMind正式发布新一代「世界模型」——Genie 4。

这也是，谷歌迄今为止最逼真且最具交互性的世界模型。

一句话实时修改场景、模拟真实物理效果，连人物动作、环境音效和互动对话都能同步生成全安排上了。

比如，直接在对话框里输入指令，画面中的男子就能回头做出反应，整个场景还能随着指令实时变化：

更离谱的是，这个世界里的人物，居然还能直接开口跟你聊天？？！

风声、水声等环境音效同步生成，人物也能根据场景变化和你的输入实时接话，确实无缝接入啊：

更有看头的是，Gemini也被拉来当「大脑」了——

咱看下面这个demo，虚拟实验室里，一台机械臂正夹着移液器，对准实验孔板进行操作。

从任务步骤规划，到模拟机械臂的精细动作，整个过程都在AI生成的环境中进行，旁边还能看到推理步骤：

还有一些获取早期访问权限的网友也已经大roll特roll了。

有网友直接生成了一座地下洞穴，操控角色在错综复杂的地道里四处探索、寻找宝藏。

整个洞穴场景随着玩家的移动实时生成，走哪儿、看哪儿，AI就接着往下构建，整成大型探险游戏了！？

虽然，通用模型未必要看谷歌。

但世界模型，感觉还是得看谷歌啊。。。

1

Genie 4来了：整个世界都能实时生成，还能开口说话

如果用一个词概括Genie 4这次的核心升级，那一定是——「实时」。

简单来说，AI现在已经能根据你的操作，一边生成虚拟世界，一边模拟接下来会发生什么。

而且这次，谷歌还把人物、物理效果、声音，甚至复杂任务推理都给卷上去了～

我帮大家浅浅总结了一波核心能力，先来一睹为快：

• 实时世界生成与操控：一句话生成可探索的虚拟世界，随时修改天气、人物、物体和场景。

• 真实物理与人物模拟：支持碰撞、空气动力学等物理效果，人物动作自然，还能根据环境实时反应。

• 原生音频与互动对话：环境音效、音乐和人物对话同步生成，虚拟角色能够实时交流。

• Gemini协同推理：Gemini负责规划任务、观察反馈、动态调整策略，还能在虚拟世界中模拟机器人执行任务。

当然了，光看能力介绍可能还不够直观。

咱直接把Genie 3和Genie 4拉出来遛遛，说实话，我是感觉差距还真挺明显的。

下面这个对比Demo，左边是Genie 3，右边是Genie 4。

最直观的感受，就是人物终于没那么「游戏伪人」了，动作上也更符合物理规律。

在场景上，左边还是个相对空旷的房间，右边直接切进了布满灯光、设备和工作人员的剧院后台。

从简单室内到复杂多人场景，整个环境的信息量一下子上来了，人物、空间和光影的呈现也更接近真实拍摄：

接下来，我们再看几个更有意思的例子！

比如下面这个Demo，湖面上漂浮着一座小平台，一名男子正在上面演奏萨克斯。

用户可以随时用自然语言修改天气、切换镜头，甚至往场景中加入新人物。

更有意思的是，Gemini还会根据当前环境调整后续变化，让新加入的元素与原有场景尽可能保持连贯。

连萨克斯的演奏声、风声、水声，也都能跟着场景实时生成，be like：

而在物理模拟上，Genie 4同样有不少看头。

人物从高处坠落，身体会随着重力向下运动；西瓜受到撞击后，则会瞬间破裂，果肉四散飞溅。

从人体运动、重力作用，到物体碰撞后的形变与破碎，Genie 4已经能够模拟出相当逼真的物理反馈：

再来看「音频生成」。

值得一提的是，Genie 4还是谷歌首个支持原生音频生成的实时世界模型。

它能够根据正在发生的场景，同步生成环境音效、音乐，甚至让虚拟人物开口说话，根据用户输入和周围事件实时接话。

比如直接化身骑士，以第一人称视角骑着巨龙在群山间高速狂飙。

耳边呼啸的风声、巨龙振翅声，甚至远处火山的轰鸣，都能跟着飞行过程实时生成，be like：

不过，看到这里，其实还只是Genie 4在感官体验上的升级。

值得一提的是，这次Genie 4还与Gemini深度结合，让世界模型具备了更复杂的任务规划和多步骤推理能力。

具体来说，谷歌把Gemini 3.8 Flash接入了Genie 4，让它充当实时引导Agent——

Genie 4负责生成虚拟世界，Gemini负责理解目标、观察环境，并决定下一步该做什么。

随着Genie 4实时生成画面，Gemini还会持续观察场景，检查任务执行到了哪一步、前面的操作有没有成功～

咱看下面这个demo。

让机器人在虚拟实验室中完成精细操作，或在不断变化的环境里执行多步骤任务。

AI可以先在模拟环境中规划行动、观察结果、调整策略，再将经过验证的方法用于现实世界，牛啊：

甚至呢，更高阶的Gemini 4 Argon，也已经被咱老谷歌拉来参加实验了。

官方展示了一个相当有意思的demo：让「人形机器人下跳棋」。

这里出场的是Apptronik的人形机器人Apollo。

实验中，Gemini 4 Argon负责把下跳棋的任务拆解成多个步骤，再将指令交给Genie 4。

Genie 4则根据这些指令，实时模拟Apollo执行相应动作。

整个过程发生在AI生成的世界里，无须让真实机器人到场，真·自动化作业了：

1

Gemini 4 Flash也要来了！？

不过，谷歌这两天的消息还没完。

就在Genie 4发布前后，Gemini 4 Flash竟然也有新动静了。

有网友发现，Gemini 4 Flash疑似已经进入内部测试阶段，连代号都被扒了出来——

Hydrogen，氢。

而且，Gemini 4 Flash甚至可能是用远低于Gemini 4 Argon的成本，提供接近旗舰模型的性能。

我们要知道Gemini 4 Argon作为谷歌目前的旗舰模型，能力虽然很强，But——

推理成本和响应速度上，也让不少高频使用场景面临取舍。。。

Flash系列主打的恰恰就是「速度」和「成本」。

甚至还有网友爆料称，Gemini 4 Flash的生成速度可能接近每秒300 Token。

如果能把Argon级别的智能水平，塞进一个更快、更便宜的Flash模型里，那确实有点看头哈～

世界模型在手，Gemini 4 Flash我有。

虽迟又能怎么样，但到了不就得了。

[1]https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation

点个“爱心”，再走 吧