Voyager：基于大语言模型的开放式具身智能体

Voyager：基于大语言模型的开放式具身智能体

Voyager: An Open-Ended Embodied Agent with Large Language Models

https://openreview.net/pdf?id=ehfRiF0R3a

摘要
我们推出 Voyager，这是首个在《我的世界》中由大语言模型驱动的具身终生学习智能体，它能够在无需人类干预的情况下持续探索世界、获取多样化技能并做出新颖发现。Voyager 包含三个关键组成部分：1）一个可最大化探索的自动课程；2）一个不断增长的技能库，由可执行代码构成，用于存储和检索复杂行为；3）一种新的迭代提示机制，整合环境反馈、执行错误和自验证以改进程序。Voyager 通过黑箱查询与 GPT-4 交互，无需对模型参数进行微调。Voyager 所开发的技能具有时间延展性、可解释性和组合性，这迅速增强了智能体的能力并缓解了灾难性遗忘。实验表明，Voyager 展现出强大的上下文终生学习能力，并在游玩《我的世界》中表现卓越。相比此前的最优方法，它获取的独特物品种类多出 3.3 倍，行进距离长出 2.3 倍，解锁关键技术树里程碑的速度最高快出 15.3 倍。Voyager 能够在新《我的世界》世界中利用已学技能库从头解决新任务，而其他技术则难以泛化。

1 引言

构建能够在开放世界中持续探索、规划并开发新技能的通用具身智能体，是人工智能领域的一项重大挑战（Kolve 等，2017；Savva 等，2019；Zhu 等，2020；Xia 等，2019；Shen 等，2020）。经典方法采用基于原始动作的强化学习（Kober 等，2013；Arulkumaran 等，2017）和模仿学习（Baker 等，2022；Team 等，2021；Vinyals 等，2019），这在系统性探索（Ecoffet 等，2019；Huizinga & Clune，2022；Wang 等，2020；Kanitscheider 等，2021；Dennis 等，2020）、可解释性（Liang 等，2022；Sun 等，2020；Zhao 等，2021）和泛化能力（Jiang 等，2022；Shridhar 等，2021；Fan 等，2021）方面可能面临挑战。近期基于大语言模型的智能体研究，利用预训练 LLM 中封装的世界知识来生成一致的动作计划或可执行策略（Liang 等，2022；Singh 等，2022；Jiang 等，2022）。这些方法被应用于具身任务，如游戏和机器人领域（Fan 等，2022；Zeng 等，2022；Ahn 等，2022；Huang 等，2022b；a），以及非具身的 NLP 任务（Richards，2023；Yao 等，2022；Shinn 等，2023）。然而，这些智能体并非终生学习者，无法在长时间跨度内逐步获取、更新、积累和迁移知识（Parisi 等，2019；Wang 等，2023a）。

让我们以《我的世界》为例。与人工智能研究中研究的大多数其他游戏不同（Mnih 等，2013；OpenAI 等，2019；Vinyals 等，2019），《我的世界》并未预设最终目标或固定故事情节，而是提供了一个充满无限可能的独特游乐场（Fan 等，2022）。《我的世界》要求玩家探索广阔的程序生成 3D 地形，并利用收集的资源解锁科技树。人类玩家通常从学习基础内容开始，例如砍伐木材和烹饪食物，然后进阶到更复杂的任务，如对抗怪物和制作钻石工具。我们认为，一个有效的终生学习智能体应具备与人类玩家相似的能力：（1）根据当前技能水平和世界状态提出合适的任务，例如，如果发现自己身处沙漠而非森林，则应先学习采集沙子和仙人掌，再学习采集铁；（2）基于环境反馈改进技能，并将已掌握的技能存入记忆，以便在未来相似情境中复用（例如，对抗僵尸与对抗蜘蛛相似）；（3）持续探索世界，并以自我驱动的方式寻求新任务。

为实现这些目标，我们推出了 Voyager，这是首个由 LLM 驱动的具身终生学习智能体，能够在《我的世界》中无需人工干预地驱动探索、掌握广泛技能并持续做出新发现。Voyager 通过三个关键模块得以实现（图 2）：1）一个可最大化探索的自动课程；2）一个用于存储和检索复杂行为的技能库；3）一种新的迭代提示机制，用于生成可执行的具身控制代码。我们选择使用代码而非低级运动指令作为动作空间，因为程序能够自然地表示具有时间延展性和组合性的动作（Liang 等，2022；Singh 等，2022），这对于《我的世界》中的许多长时域任务至关重要。Voyager 通过提示和上下文学习（Wei 等，2022a；Brown 等，2020；Raffel 等，2020）与黑箱 LLM（GPT-4（OpenAI，2023））交互。我们的方法无需访问模型参数，也无需显式的基于梯度的训练或微调。

更具体地说，Voyager 尝试解决由自动课程提出的逐步更难的任务，该课程考虑了探索进度和智能体状态。课程由 GPT-4 基于“发现尽可能多多样化事物”的总体目标生成。这种方法可被视为一种上下文形式的新颖性搜索（Eysenbach 等，2019；Conti 等，2018）。Voyager 通过存储成功解决任务的动作程序，逐步构建技能库。每个程序通过其描述的嵌入向量进行索引，以便在未来相似情境中检索。复杂技能可以通过组合更简单的程序来合成，这使 Voyager 的能力随时间快速增强，并缓解了其他持续学习方法中的灾难性遗忘问题（Parisi 等，2019；Wang 等，2023a）。

然而，LLM 难以一次性持续生成正确的动作代码（Chen 等，2021a）。为应对这一挑战，我们提出了一种迭代提示机制，该机制：（1）执行生成的程序，以从《我的世界》模拟中获取观察结果（如物品清单和附近生物）以及来自代码解释器的错误追踪（如有）；（2）将反馈信息纳入 GPT-4 的提示中，进行新一轮代码修正；（3）重复该过程，直到自验证模块确认任务完成，此时我们将程序提交到技能库中（例如 craftStoneShovel()和 combatZombieWithSword()），并查询自动课程以获取下一个里程碑（图 2）。

实验表明，Voyager 展现出强大的上下文终生学习能力。它能够构建一个不断增长的动作程序技能库，这些程序具有可复用性、可解释性，并能泛化到新任务。我们在 MineDojo（Fan 等，2022）（一个开源《我的世界》AI 框架）中，将 Voyager 与其他基于 LLM 的智能体技术（如 ReAct（Yao 等，2022）、Reflexion（Shinn 等，2023）、AutoGPT（Richards，2023））进行了系统评估。Voyager 在获取独特物品种类上比此前最优方法多出 3.3 倍，解锁关键技术树里程碑的速度最高快出 15.3 倍，穿越距离长出 2.3 倍。我们进一步证明了 Voyager 能够在新《我的世界》世界中利用已学技能库从头解决新任务，而其他方法则难以泛化。

2 方法

Voyager 由三个新颖组件构成：（1）自动课程（第 2.1 节），用于为开放式探索提出目标；（2）技能库（第 2.2 节），用于开发日益复杂的行为；（3）迭代提示机制（第 2.3 节），用于生成可执行的具身控制代码。Voyager 算法的伪代码如伪代码 1 所示。完整提示词见附录 A 节。

2.1 自动课程

具身智能体在开放式环境中会遭遇各种不同复杂程度的目标。自动课程为开放式探索带来了诸多好处：确保具有挑战性但可控的学习过程，培养智能体基于好奇心的内在动机以进行学习和探索，并鼓励发展通用且灵活的问题解决策略（Wang 等，2019；Portelas 等，2020；Forestier 等，2022）。我们的自动课程利用 GPT-4 中包含的互联网规模知识，通过提示它持续提供新的任务或挑战。课程以自下而上的方式展开，具有相当大的适应性，并能响应探索进度和智能体当前状态（图 3）。随着 Voyager 向更难的自主目标推进，它自然学会了各种技能，例如“开采钻石”。

输入给 GPT-4 的提示词包含若干组成部分：

（1）鼓励多样化行为并施加约束的指令，例如“我的最终目标是发现尽可能多多样化的事物……下一个任务不应太难，因为我可能还没有必要的资源或尚未学会足够的技能来完成它。”

（2）智能体当前状态，包括物品清单、装备、附近方块和实体、生物群系、时间、生命值和饥饿值以及位置；

（3）先前完成和失败的任务，反映智能体当前的探索进度和能力边界；

（4）额外上下文：我们还利用 GPT-3.5 根据智能体当前状态和探索进度进行自我提问并自我回答。出于预算考虑，我们选择使用 GPT-3.5 而非 GPT-4 来处理标准 NLP 任务。

2.2 技能库

随着自动课程不断提出日益复杂的任务，拥有一个作为学习和进化基础的技能库至关重要。受程序通用性、可解释性和普适性的启发（Ellis 等，2020），我们用可执行代码来表示每项技能，这些代码构建了用于完成自动课程所提出特定任务的时间延展动作。

输入给 GPT-4 的提示词包含以下组成部分：

1. 代码生成指南，例如“你的函数将被复用于构建更复杂的函数。因此，你应使其具有通用性和可复用性。”；

2. 控制原语 API 以及从技能库中检索到的相关技能，这些对于上下文学习（Wei 等，2022a；Brown 等，2020；Raffel 等，2020）的有效运作至关重要；

3. 上一轮生成的代码、环境反馈、执行错误和批评意见，基于这些，GPT-4 可以进行自我改进（第 2.3 节）；

4. 智能体当前状态，包括物品清单、装备、附近方块和实体、生物群系、时间、生命值和饥饿值以及位置；

5. 思维链提示（Wei 等，2022b），用于在代码生成之前进行推理。

我们通过一种新颖的迭代提示机制（第 2.3 节）迭代地改进程序，将其作为新技能纳入技能库，并通过其描述的嵌入向量进行索引（图 4，顶部）。对于技能检索，我们使用自行生成的任务计划嵌入向量和环境反馈来查询技能库（图 4，底部）。通过不断扩展和完善技能库，Voyager 能够在广泛的任务中学习、适应和表现出色，持续在开放世界中拓展其能力边界。

2.3 迭代提示机制

我们引入了一种通过三种反馈进行自我改进的迭代提示机制：

1. 环境反馈，说明程序执行过程中的中间进展（图 5，左侧）。例如，“我无法制作铁胸甲，因为我还需要：7 个铁锭”突出了制作铁胸甲失败的原因。我们在控制原语 API 内部使用 bot.chat()来生成环境反馈，并提示 GPT-4 在代码生成期间也使用此函数；

2. 执行错误，来自程序解释器，揭示程序中的无效操作或语法错误，这对于修复错误非常有价值（图 5，右侧）；

3. 用于检查任务成功与否的自验证。我们并非为自动课程提出的每个新任务手动编码成功检查器，而是实例化另一个 GPT-4 智能体进行自验证。通过向 GPT-4 提供 Voyager 的当前状态和任务，我们要求其扮演评论家角色（Mnih 等，2016；Schulman 等，2017；Lillicrap 等，2016），并告知我们程序是否完成了任务。此外，如果任务失败，它会通过建议如何完成任务来提供批评意见（图 6）。因此，我们的自验证通过同时检查成功和反思错误，比自我反思（Shinn 等，2023）更为全面。

   
   

在每一轮代码生成过程中，我们执行生成的程序，以从代码解释器获取环境反馈和执行错误，并将这些信息纳入 GPT-4 的提示中，用于下一轮的代码修正。这一迭代过程持续重复，直到自验证确认任务完成，此时我们将这项新技能添加到技能库中，并向自动课程请求新的目标（图 2）。如果智能体在 4 轮代码生成后仍陷入困境，则我们向课程查询另一项任务。这种迭代提示方法显著改进了具身控制的程序合成，使 Voyager 能够在无需人工干预的情况下持续获取多样化技能。

3 实验

3.1 实验设置

我们使用 OpenAI 的 gpt-4-0314（OpenAI，2023）和 gpt-3.5-turbo-0301（chatgpt）API 进行文本补全，并使用 text-embedding-ada-002（embedding）API 进行文本嵌入。除自动课程使用 temperature = 0.1 以鼓励任务多样性外，我们将所有温度参数设置为 0。我们的模拟环境基于 MineDojo（Fan 等，2022）构建，并利用 Mineflayer（PrismarineJS，2013）JavaScript API 进行运动控制。更多细节见附录 B.1 节。

3.2 基线方法

由于目前没有现成可用的基于 LLM 的《我的世界》智能体，我们尽最大努力选择了一些代表性算法作为基线。这些方法最初仅针对非具身的 NLP 任务设计，因此我们必须对其进行重新解释，使其能够在 MineDojo 中执行并与我们的实验设置兼容。

ReAct（Yao 等，2022）使用思维链提示（Wei 等，2022b），通过 LLM 同时生成推理轨迹和动作计划。我们向其提供环境反馈和智能体状态作为观察输入。

Reflexion（Shinn 等，2023）建立在 ReAct（Yao 等，2022）之上，通过自我反思来推断更直观的未来动作。我们向其提供执行错误和我们的自验证模块。

AutoGPT（Richards，2023）是一种流行的软件工具，通过将高层目标分解为多个子目标并以 ReAct 风格循环执行来自动化 NLP 任务。我们使用 GPT-4 进行任务分解来重新实现 AutoGPT，并向其提供智能体状态、环境反馈和执行错误作为子目标执行的观察输入。与 Voyager 相比，AutoGPT 缺少用于积累知识的技能库、用于评估任务成功与否的自验证模块以及用于开放式探索的自动课程。

需要注意的是，我们没有直接与那些以《我的世界》屏幕像素为输入并输出低级控制信号的先前方法（Nottingham 等，2023；Cai 等，2023；Wang 等，2023b）进行比较。这不是一个对等的比较，因为我们依赖高层 Mineflayer（PrismarineJS，2013）API 来控制智能体。我们工作的重点在于推动 GPT-4 在终生具身智能体学习方面的极限，而非解决 3D 感知或传感器运动控制问题。Voyager 是正交的，并且只要控制器提供代码 API，就可以与基于梯度的方法（如 VPT（Baker 等，2022））相结合。我们在表 A.2 中对 Voyager 与先前《我的世界》智能体进行了系统级比较。

3.3 评估结果

我们对 Voyager 和基线方法在探索性能、科技树掌握程度、地图覆盖范围以及在新世界中对新任务的零样本泛化能力方面进行了系统评估。

显著更优的探索能力。探索性能结果如图 1 所示。Voyager 的优势在于其能够持续取得新进展，在 160 次提示迭代内发现了 63 种独特物品，相比同类方法多出 3.3 倍的新物品。另一方面，AutoGPT 在发现新物品方面明显落后，而 ReAct 和 Reflexion 则难以取得显著进展，这是因为开放式探索目标的抽象性质使其在没有适当课程的情况下难以执行。

持续的科技树掌握。《我的世界》科技树测试智能体制作和使用层级工具的能力。在这一科技树（木制工具 → 石制工具 → 铁制工具 → 钻石工具）上的推进要求智能体掌握系统性和组合性技能。与基线方法相比，Voyager 解锁木制层级的速度快 15.3 倍（以提示迭代次数计），石制层级快 8.5 倍，铁制层级快 6.4 倍，并且 Voyager 是唯一解锁科技树钻石层级的智能体（图 2 和表 1）。这凸显了自动课程的有效性，它持续提供难度适中的挑战，以促进智能体的进步。

广泛的地图遍历。Voyager 能够穿越各种地形，导航距离比基线方法长出 2.3 倍，而基线智能体往往被困在局部区域，这严重阻碍了它们发现新知识的能力（图 7）。

对新任务的高效零样本泛化。为了评估零样本泛化能力，我们清空智能体的物品清单，将其重置到一个新实例化的世界中，并用未见过的任务对其进行测试。对于 Voyager 和 AutoGPT，我们都利用 GPT-4 将任务分解为一系列子目标。表 2 和图 8 显示，Voyager 能够持续解决所有任务，而基线方法无法在 50 次提示迭代内解决任何任务。有趣的是，我们从终生学习中构建的技能库不仅增强了 Voyager 的性能，也为 AutoGPT 带来了提升。这表明技能库是一种通用工具，可以方便地被其他方法使用，有效地充当即插即用的资产来增强性能。

3.4 消融实验

我们对 Voyager 中的 6 项设计选择（自动课程、技能库、环境反馈、执行错误、自验证以及用于代码生成的 GPT-4）进行了消融实验，并研究了它们对探索性能的影响（各消融变体的详情见附录 B.3 节）。结果如图 9 所示。我们重点强调以下发现：

• 自动课程对于智能体的持续进步至关重要。如果将自动课程替换为随机课程，发现物品数量下降 93%，因为某些任务如果顺序不当可能会过于困难。另一方面，人工设计的课程需要大量《我的世界》专业知识，并且没有考虑智能体的实时状况。在实验结果中，它与我们的自动课程相比表现不佳。

• 不带技能库的 Voyager 在后期阶段表现出趋于平缓的趋势。这凸显了技能库在 Voyager 中的关键作用。它有助于创建更复杂的动作，并通过鼓励在新技能的基础上构建旧技能来稳步拓展智能体的能力边界。

• 自验证是所有反馈类型中最重要的。移除该模块导致发现物品数量显著下降（−73%）。自验证是一个关键机制，用于决定何时转向新任务或重试先前未成功的任务。

• GPT-4 在代码生成方面显著优于 GPT-3.5，获得的独特物品数量多出 5.7 倍，因为 GPT-4 在编码能力上展现出了质的飞跃。这一发现与近期文献中的研究（Bubeck 等，2023；Liu 等，2023b）相吻合。

4 局限性与未来工作

多模态反馈。Voyager 目前不支持视觉感知，因为在撰写本文时，可用的 GPT-4 API 版本仅为纯文本。然而，Voyager 有潜力通过多模态感知模型（Liu 等，2023a；Driess 等，2023）进行增强，以实现更令人印象深刻的任务。我们证明了，在给定人类反馈的情况下，Voyager 能够在《我的世界》中构建复杂的 3D 结构，例如下界传送门和房屋（图 10）。集成人类反馈有两种方式：

（1）人类作为评论家（等同于 Voyager 的自验证模块）：人类向 Voyager 提供视觉批评意见，使其能够修改上一轮的代码。这种反馈对于纠正 Voyager 无法直接感知的 3D 结构空间细节中的某些错误至关重要。

（2）人类作为课程（等同于 Voyager 的自动课程模块）：人类将复杂的建筑任务分解为更小的步骤，引导 Voyager 逐步完成。这种方法提高了 Voyager 处理更复杂的 3D 建筑任务的能力。

成本。GPT-4 API 会产生高昂的成本。它比 GPT-3.5 贵 15 倍。然而，Voyager 需要 GPT-4 在代码生成质量上的质的飞跃，而 GPT-3.5 和开源 LLM 无法提供这种能力（Touvron 等，2023）。

不准确性。尽管采用了迭代提示机制，仍然存在智能体陷入困境而无法生成正确技能的情况。自动课程具有灵活性，可以在稍后时间重试该任务。自验证模块偶尔也可能失败，例如未能将蜘蛛丝识别为击败蜘蛛的成功信号。

幻觉。自动课程偶尔会提出无法实现的任务。例如，它可能要求智能体制作“铜剑”或“铜胸甲”，而这些物品在游戏中并不存在。代码生成过程中也会出现幻觉。例如，GPT-4 倾向于使用圆石作为燃料输入，尽管它在游戏中不是有效的燃料来源。此外，它可能调用所提供的控制原语 API 中不存在的函数，导致代码执行错误。

我们有信心，GPT API 模型的改进以及开源 LLM 微调的新技术将在未来克服这些局限性。

5 相关工作

《我的世界》中的决策智能体。《我的世界》是一个开放式的3D世界，拥有极其灵活的游戏机制，支持广泛的活动。基于著名的《我的世界》基准测试（Fan等，2022；Guss等，2019b；a；2021；Kanervisto等，2022；Johnson等，2016），《我的世界》学习算法可分为两类：1）低级控制器：许多先前的工作利用分层强化学习从人类示范中学习（Lin等，2021；Mao等，2021；Skrynnik等，2021）。Kanitscheider等（2021）设计了基于成功率的课程，但其目标仅限于精选物品。MineDojo（Fan等，2022）和VPT（Baker等，2022）利用YouTube视频进行大规模预训练。另一方面，DreamerV3（Hafner等，2023）学习世界模型以探索环境并收集钻石。2）高级规划器：Volum等（2022）利用Codex（Chen等，2021a）进行少样本提示以生成可执行策略，但需要额外的人类交互。近期工作利用LLM作为《我的世界》中的高级规划器，通过遵循《我的世界》合成配方将高层任务分解为若干子目标（Wang等，2023b；Nottingham等，2023；Yuan等，2023），因此缺乏完全的探索灵活性。与这些后期工作类似，Voyager也通过提示GPT-4来使用LLM作为高级规划器，并遵循Volum等（2022）的方法利用Mineflayer（PrismarineJS，2013）作为低级控制器。与先前工作不同的是，Voyager采用了由好奇心驱动的、以自下而上方式展开的自动课程，因此实现了开放式探索。

用于智能体规划的大语言模型。受LLM强大涌现能力的启发，如零样本提示和复杂推理（Bommasani等，2021；Brown等，2020；Raffel等，2020；Wei等，2022a；Chowdhery等，2022；Chung等，2022），具身智能体研究（Duan等，2022；Batra等，2020；Ravichandar等，2020；Collins等，2021）在利用LLM进行规划方面的应用显著增加。近期工作大致可分为两类。1）用于机器人学习的大语言模型：许多先前工作应用LLM为机器人规划生成子目标（Huang等，2022a；a；Ahn等，2022；Min等，2021；Blukis等，2021）。Inner Monologue（Huang等，2022b）将环境反馈纳入基于LLM的机器人规划中。Code as Policies（Liang等，2022）和ProgPrompt（Singh等，2022）直接利用LLM生成可执行的机器人策略。VIMA（Jiang等，2022）和PaLM-E（Driess等，2023）对预训练LLM进行微调以支持多模态提示。2）用于文本智能体的大语言模型：ReAct（Yao等，2022）利用思维链提示（Wei等，2022b），通过LLM同时生成推理轨迹和任务特定动作。Reflexion（Shinn等，2023）建立在ReAct（Yao等，2022）之上，通过自我反思来增强推理。AutoGPT（Richards，2023）是一种流行的工具，通过构建多个子目标的课程来完成高层目标，同时结合ReAct（Yao等，2022）的推理和行动循环，实现NLP任务自动化。DERA（Nair等，2023）将任务构建为两个GPT-4（OpenAI，2023）智能体之间的对话。Generative Agents（Park等，2023）利用ChatGPT（chatgpt）通过将智能体的经历存储为记忆并检索这些记忆进行规划来模拟人类行为，但其智能体动作不可执行。SPRING（Wu等，2023）是一项同期工作，使用GPT-4从游戏手册中提取游戏机制，基于此回答按有向无环图排列的问题并预测下一步动作。所有这些工作都缺乏用于发展更复杂行为的技能库，而这正是Voyager在终生学习中取得成功的关键组成部分。

带执行的代码生成。代码生成一直是NLP中的长期挑战（Chen等，2021a；Nijkamp等，2022；Le等，2022；Chowdhery等，2022；Brown等，2020），各种工作利用执行结果来改进程序合成。执行引导方法利用中间执行结果来指导程序搜索（Chen等，2019；2021b；Ellis等，2019）。另一研究方向利用多数投票根据执行性能选择候选方案（Li等，2022；Cobbe等，2021）。此外，LEVER（Ni等，2023）训练验证器根据执行结果区分和拒绝不正确程序。CLAIRIFY（Skreta等，2023）则为规划化学实验生成代码，并利用基于规则的验证器迭代地向LLM提供错误反馈。Voyager与这些工作的区别在于，它将环境反馈、执行错误和自验证（用于评估任务成功与否）集成到一个用于具身控制的迭代提示机制中。

6 结论

在这项工作中，我们介绍了Voyager，这是首个由LLM驱动的具身终生学习智能体，它利用GPT-4持续探索世界、开发日益复杂的技能，并在无需人工干预的情况下持续做出新发现。Voyager在发现新物品、解锁《我的世界》科技树、穿越多样地形以及将其学到的技能库应用于新实例化世界中的未见任务方面均表现出优越性能。Voyager为在不调整模型参数的情况下开发强大的通用智能体提供了一个起点。

7 更广泛的影响

我们的研究在《我的世界》这一安全无害的3D视频游戏环境中进行。虽然Voyager设计为可普遍适用于其他领域（如机器人技术），但其在物理机器人上的应用需要额外关注，并由人类实施安全约束，以确保负责任和安全的部署。

原文链接：https://openreview.net/pdf?id=ehfRiF0R3a