压缩视角下的人类记忆 - 从事件经验到世界模型｜胡洁雯

导语

人类记忆为何无法精确复现经验？这种"失真"是计算缺陷，还是服务于更高认知目标的适应性机制？本文从计算神经科学与人工智能的交叉视角，探讨记忆失真的计算原理及其对世界模型构建的启示。文章首先梳理早期联结主义对记忆的理解——从Hopfield网络到玻尔兹曼机——指出其将记忆目标限定为"精确复现"与"正确建模"的局限。通过DRM范式等经典实验论证并指出：记忆的系统性偏差并非随机噪声，而是有限资源约束下优先保留核心结构、牺牲表层细节以提升泛化效率的适应性策略。在此基础上，文章引入互补学习系统（CLS）理论与自适应压缩框架（Nagy et al., 2025），将语义记忆形式化为在线演化的内部生成模型，将情景记忆视为支持结构修正的"救生筏"机制，阐释大脑如何通过"纽拉特之船"式的渐进结构学习与变速率编码，在资源受限条件下实现高效的内部模型更新。最后，文章从生物记忆系统提炼理论启示，审视当前人工智能世界模型在表示崩溃、因果推断、结构发现与持续学习方面的结构性困境，并指出未来研究的潜在方向。

关键词：人类记忆失真，互补学习系统，自适应压缩，在线结构学习，世界模型

胡洁雯丨作者

赵思怡丨审校

早期联结主义对记忆的追问 - Hopfield网络

与玻尔兹曼机

在认知科学视角下，记忆，通常被定义为认知系统对经验进行编码、存储和提取的能力。机器记忆，通常指计算系统对信息存储和读取的能力。传统计算机采用按地址访问的方式，信息存储位置固定，检索依赖精确索引，难以模拟人类记忆所具有的联想和容错能力。

20世纪80年代初，联结主义正经历复兴。当时的人工神经网络主要以感知机为代表，其计算依赖前馈结构和同步更新。John Hopfield 于1982年提出Hopfield网络[1]，其核心目标并非构建一种新的机器学习算法，而是去回答一个更基础的问题：大量结构简单、相互连接的神经元，是否能够不依赖中央控制和复杂程序，仅凭局部相互作用，自发涌现出稳定记忆和信息处理能力？

Hopfield网络首次对此问题给出了具有严格数学基础的回答。它将记忆表示为网络能量函数中的稳定吸引子，将知识分布式存储于神经元之间的连接权值中。当网络接收到一个不完整或含有噪声的输入时，各神经元依据局部规则异步更新，整个系统不断降低能量，最终收敛到与输入最相近的稳定状态，从而实现内容寻址记忆和联想恢复。然而，该模型的记忆本质上仍是有限数量模式的稳定存储，其容量有限，容易产生伪记忆，并且缺乏从数据中自主学习复杂知识结构的能力。

图1: Hopfield网络（详情请见集智俱乐部文章《》）

Geoffrey Hinton和Terrence Sejnowski 于1985年，提出玻尔兹曼机（Boltzman Machine）[2] 。他们进一步追问：如果记忆不仅意味着恢复已有模式，还意味着从经验中学习数据的统计规律，那么网络应如何形成记忆？为此，它保留了Hopfield网络的能量模型，同时引入随机更新机制和隐藏单元，使网络能够利用概率分布描述记忆，而非仅依赖固定吸引子。随机更新使网络能够跳出局部极小值，隐藏单元则学习输入数据中的潜在特征，因此记忆不再只是对已有模式的回忆，而成为对经验分布的建模和生成过程。相较于Hopfield网络，玻尔兹曼机将联结主义对记忆的理解由“联想记忆”扩展为“统计学习”。

从人类记忆的角度来看，两种模型都抓住了记忆的部分本质：Hopfield网络刻画了记忆的联想恢复和容错特性，玻尔兹曼机进一步体现了记忆能够通过经验学习内部表征的能力。但联结主义将记忆的目标限定为“恢复已有模式”和“学习统计规律” —— 一个追求精确复现与正确建模的系统。

人类记忆真的是这样吗？

不完美的人类记忆 - 从记忆扭曲现象

到记忆功能

在独幕剧《初步举证》中，身为律师的Tessa在成为性侵案件受害者后，发现自己无法向法庭提供事件的时间顺序、具体行为等精确细节——她的记忆在反复回想中变得模糊甚至扭曲。这种记忆的"不稳定性"被对方律师直接质疑为"可信度问题"。Tessa的痛苦不仅来自创伤本身，更来自她无法将自身经验转化为司法系统所要求的"精确叙事"。—— 我们无法以精确重现的方式提取过去发生的经验事件，回忆总是伴随着细节的丢失和失真的重建。

图2：独幕剧《初步举证》剧照

心理学领域的早期研究表明，人类记忆的偏差并不是随机噪声，而是在多种任务与材料中表现出高度一致的规律性。

一个经典证据来自DRM范式。该范式由Deese（1959）提出雏形，Roediger与McDermott（1995）系统发展[3]。在实验中，研究者首先选取一个“诱饵词”（lure word），例如“sleep”，并通过收集该词在语言中的高频联想词（如“bed””“dream”等）构建词表，但诱饵词本身从不呈现。学习后，被试在回忆或再认中却稳定地"记得"出现过该诱饵词。这表明记忆并非逐项存储，而是提取了词表的语义主题；当提取发生时，抽象的语义表征会生成未呈现的具体项目，产生系统性的虚假记忆。

另一类支持性证据来自更早的知觉记忆研究，例如Carmichael实验[4]。Carmichael（1932）让被试观看可多重解释的模糊图形（如"哑铃"或"眼镜"），并通过事先提供类别标签引导其解释方向。结果显示，被试随后的回忆或重绘系统性地偏向该标签：标注为"哑铃"时强化对称与重量感，标注为"眼镜"时突出弧形结构。这说明视觉记忆并非精确存储原始输入，而是在语义框架下被重构。

这两类现象共同揭示了一种被称为“基于要义的记忆失真”的机制：记忆系统倾向于保留经验的核心意义或整体结构，而非精确的表层细节。

记忆不准确的程度或许令人惊讶。如果这种失真仅仅是记忆系统的缺陷，那么它为何会在漫长的进化过程中被保留下来？一种功能主义解释认为，记忆的主要目的并非精确复现过去，而是服务于预测、泛化、决策等认知任务。基于要义的记忆失真，并非系统缺陷，而是在有限资源约束下，为提升泛化能力和认知效率所付出的代价。

互补学习理论的提出与更新

在认知科学中，陈述性记忆，又称外显记忆，指那些可以有意识地回忆和言表的知识，包括情景记忆（episodic memory）和语义记忆（semantic memory）。情景记忆记录特定时间、地点发生的个人经历——比如"上周六我在某个餐厅吃了什么"；语义记忆则存储关于世界的一般性事实和概念——比如"巴黎是法国的首都"或"知更鸟是一种鸟"。

在理解人类记忆为何存在系统性的失真现象之前，我们要先更多了解一下人类的记忆系统，本文重点关注两类长时记忆，情景记忆和语义记忆 —— 我们的大脑如何既能记住昨天晚餐的细节，又能习得"鸟会飞"这样的普遍知识？这些问题的答案，在计算神经科学和认知科学的交叉领域中，被互补学习系统（Complementary Learning Systems, CLS）理论所阐释。1995年，McClelland等发表了奠基性论文[5]，提出了大脑中存在两个互补学习系统的核心观点。二十年后，Kumaran等对这一理论进行了系统性的更新与扩展[6]。互补学习系统（CLS）理论的核心洞见在于：大脑中存在两个功能互补的学习系统，分别承担着不同类型的记忆任务。第一个系统以新皮层为核心，负责语义记忆的渐进式建构；第二个系统以海马为中心，支持情景记忆的快速形成。

图3：James L.McClelland互补学习系统理论提出

语义记忆与情景记忆及其生物基础

在CLS理论框架中，新皮层被视为"结构化知识表征系统"，即语义记忆系统。McClelland等人（1995）在其奠基性论文中指出："我们将新皮层视为一组部分重叠的处理系统……知识被假定为嵌入在执行信息处理任务的神经回路之中"。理论指出新皮层的核心计算特征在于其参数化表征——连接权重可被优化以捕捉整个领域的统计规律，而非单独存储每个经验实例。

与语义记忆系统形成鲜明对比，海马系统承担着快速学习个体经验具体内容的功能。McClelland等人将海马描述为一个能够快速编码"事件中各元素的任意性联合"的系统。情景记忆记录特定时间、地点发生的个人经历，其神经基础在于海马独特的计算机制。

模式分离（pattern separation）是海马实现快速无损学习的关键。海马齿状回（DG）和CA3区域通过高阶联合编码，将来自内嗅皮层的输入正交化为稀疏、去重叠的神经表征，即使高度相似的事件也能获得可区分的编码。这一机制极大地减少了不同记忆之间的干扰，使得生物体能够在不破坏已有知识的前提下快速编码新经验。与模式分离相对应的是模式补全（pattern completion）——CA3区域作为吸引子网络，能够从部分线索恢复完整记忆表征，从而实现内容寻址的联想回忆。

语义记忆系统与情景记忆系统并非彼此独立运作。Kumaran等综述强调了一个关键观点："因为进入海马的输入依赖于新皮层中的结构化知识……海马的学习也将依赖于先验知识"。海马接收的内嗅皮层输入本身就是新皮层表征的压缩版本，这意味着两个系统从一开始就深度耦合。情景记忆并非对感官输入的逐字复制，而是在已有知识框架指导下的选择性编码；语义知识的更新也并非凭空发生，而是依赖于海马对具体经验的保存与重放。正是这种双系统架构，使得大脑能够在快速适应环境变化的同时，逐步构建起关于世界运作方式的深层理解。

图4：互补学习系统示意图（来自Kumaran et al., 2016）

海马经验重放支持语义记忆更新 - 生物证据与深度强化学习

情景记忆如何转化为语义知识？这一从具体到抽象的转化，是记忆研究领域最核心的问题之一。CLS理论给出的回答是：经验重放（replay）——海马在离线状态下重新激活近期经历过的神经活动模式，通过这些重放事件为新皮层提供交错式的训练信号，从而驱动语义知识的渐进式更新。

McClelland等人（1995）最早系统阐述了这一机制。他们假设，海马中的记忆痕迹可以在睡眠、静息等离线状态下被重新激活，并通过回到新皮层的投射回路"重放"经验内容。这一过程具有双重功能：一方面支持记忆检索，另一方面为新皮层连接提供增量调整的机会，使最初依赖海马的记忆逐渐获得新皮层的独立表征——即系统级巩固（systems-level consolidation）。这一理论假设随后获得了大量电生理证据的支持。

海马经验重放机制对为强化学习提供了算法灵感。深度Q网络（DQN）中的经验重放机制正式这一启发的产物：将近期经验存储在重放缓冲区中，随机抽取子集进行学习。这一设计带来双重收益：一方面提高了数据效率；另一方面实现了类交错训练。在此基础上，优先经验重放（prioritized experience replay）进一步优化了采样策略，通过提高那些奖励预测误差较大的经验的被采样概率，使网络更聚焦于"信息量更大"的样本，从而显著加速了收敛并提升了最终性能。

课程效应 - 机器学习与人类学习现象差异

新皮层语义记忆的形成类似于人工神经网络参数的逐渐更新，即不断整合来自多个经历的信息。在这一观点下，情景记忆的作用是：通过不断将过去经历与当前经验交错回放，防止旧知识被新知识覆盖，解决新皮层学习的灾难性遗忘问题。这里蕴含一个假设，即人类结构化语义记忆形成的学习过程，也和人工神经网络一样，对交错训练范式具有偏好。

在认知科学中，这种学习效果对学习材料出现顺序表现出的敏感性被称为课程效应。人的这种学习规律，在最新的一些认知科学研究中被证明和人工神经网络形成鲜明对比。Flesch等人[8]的研究中通过设计分块和交错训练学习任务，将人类学习效果和模型（CNN）学习效果进行比较。研究结果指出，人类在分块训练情况下有最好的学习表现。而对于CCN, 采用交错训练时，网络能快速达到性能上限；采用分块训练的网络虽能在第一个任务上达到性能峰值，但在第二个任务完成训练后，第一个任务的识别准确率直接跌至随机猜测水平。（图5）

图5. 神经网络再分块式学习课程（blocked curricula）下回遭受灾难性干扰，而人类不会。与交错式课程（interleaved curicula）相比，人类再分块式学习课程中的表现通常更好。

人类学习体现出的这种对分块训练而非交错训练范式的偏好，与CLS理论中的假设形成矛盾。2016年，David G. Nagy等，提出用自适应压缩作为理解情景记忆与语义记忆的统一框架，将语义记忆的过程形式化为一种在线结构学习过程，对CLS理论进行了补充和更新。

接下来，我们将在David G. Nagy等的新视角下[9]，再度审视语义记忆和情景记忆在服务认知目标时编码过去经验的计算原则，对人类的记忆失真现象进行理解。

压缩与有效编码作为理解记忆的框架

一种近年来在记忆研究中逐渐受到关注的规范性视角强调压缩的重要性，将感官经验转化为记忆痕迹的过程视为一种压缩过程。一些计算领域的数据压缩和生成算法被用于理解人类记忆失真现象。

率失真理论与变分自编码器

信息论中处理“在压缩过程中会丢失信息”的分支被称为率失真理论（rate distortion theory, RDT）。率失真理论探讨如何在给定可用容量预算（即率，rate）的前提下最优地编码输入（考虑系统的目标）。率失真理论推导出一个基本的权衡关系：率的降低会导致最小可实现失真的相应增加（图6）。率失真理论的一个关键洞见是，环境中的规律可以被编码器利用以去除编码中的冗余信息，启发了神经科学中的高效编码假说。当资源不足以实现完美重建时，率失真理论通过策略性地丢弃非必要信息并随后基于已知规律尝试重建，这种重建过程经常引入失真，使得被回忆的刺激与先前观察到的规律更加一致。

图6. 根据率–失真理论，信息率（rate）与失真（distortion）之间存在一个连续的权衡关系。较高的信息率能够使记忆平均而言更加准确，而较低的信息率则会导致更大的记忆失真。

尽管率失真理论为理解人类记忆提供了一个有吸引力的框架，但二者的对接研究一直受到学习自然刺激精确生成模型之困难的阻碍。工程化的压缩算法通常产生的压缩伪影或"记忆失真"在性质上与人类实验中观察到的不同。在作者David G. Nagy过去的工作中[10]，他通过理论推导，证明了变分自编码器（这里指β-VAE）可以被解释为率失真理论的近似实现，因此，终于可以通过实验去证明率失真理论是否可以用以解释人类记忆失真模式，从而启发对人类记忆底层机制的认识。Nagy通过实验发现：β-VAE可以复现人类行为中的领域专家效应：对符合真实对局的棋盘，训练数据越多重构准确率越高，随机打乱棋子的棋盘，专业优势大幅消失。其次，beta-VAE也会复现人类记忆错误的典型模式（对应在本文第二部分介绍的DRM范式下的诱饵词倾入效应以及Carmichael效应）：模型在编码词表时会提取语义主题隐变量，解码时自动生成未出现但高度相关的诱饵词，诱饵回忆概率接近真实学习词汇；模型在不同概念词影响下回忆的草图发生语义相关的失真（图7）

图7. a. 模型在DRM范式下体现出与人类相同的诱饵词侵入现象（诱饵词回忆频率用红色显示）.b.模型在Carmichel范式中体现出语义关联的回忆失真。

将率–失真理论作为人类记忆的规范性框架时，过去经验中观察到的环境规律可以被视为一种知识形式，而这种知识通常被认为属于语义记忆的范畴。这些规律可以形式化为一个关于环境的内部生成模型（internal generative model），使个体能够对正在发生的经验进行解释和预测。率–失真理论在Nagy过去的工作中被视为统一解释人类记忆的框架，解释：语义记忆中存储的先验知识如何影响感知经验，并产生具有特征性的记忆扭曲模式。

纽拉特之船 - 在线结构学习

将率–失真理论作为统一解释人类记忆的框架，其根本问题在于：它假设环境中的规律已经是已知且不变的，并且这些规律已经抽象为一个内部生成模型。由于生成模型被假定为始终正确，因此对于经验中那些令人意外的部分，唯一可行的解释就是：它们只是偶然事件或噪声，因此未来再次出现的可能性很低。因此，在记忆资源有限时，这些令人惊讶的信息理应最先被遗忘。

然而，在现实中，大脑必须在一生中不断构建这一生成模型（即语义记忆），并随着新经验的积累持续对其进行调整和更新。同时，人类展现出与刚才的推断相反的真实表现：人们通常能够以较高的情景记忆精度记住哪些令人惊讶、新颖以及与已有知识不一致的信息。

作者在指出以上率失真理论在解释人类记忆问题上的缺陷后，提出2个观点。其一，作者认为大脑认识世界形成记忆的功能所面临的任务不仅是参数学习——即在已知变量之间估计参数关系——还涉及另一个更加困难的问题：结构学习。结构学习要求识别环境中的因果变量，并进一步确定这些变量之间的因果关系。其二，语义记忆的生成模型必须以在线的方式被迭代和更新。

结构学习是指一类学习问题，在这类问题中，相互竞争的模型不仅在模型参数的具体数值（即参数估计，parameter estimation）上有所不同，还可能在参数数量、变量选择、变量之间关系的形式，甚至构成模型的基本组成单元上存在差异。

从压缩的角度来看，如果模型结构已经确定，那么记忆资源就可以得到极高效的利用：系统只需编码那些用于估计模型参数的信息，而且参数通常可以在线更新。然而，对于结构学习而言，在线更新要求同时跟踪并更新每一种可能的结构假设。即使只是一个包含四个变量的简单问题，也存在543种不同的因果结构假设。假设空间的组合爆炸正是结构学习问题的典型特征。为了支持每一种可能结构，都必须保留相应的信息，其难度几乎与直接保存所有过去经历一样高。不难得出，结构学习相比参数估计，有更高的信息存储需求。然而，大脑的计算和存储资源有限，它应如何应对结构学习的假设空间组合爆炸问题呢？

“纽拉特之船（Neurath’s ship）” 这一著名比喻最初用于描述科学理论修正过程中所面临的困难，用来说明科学理论是如何逐步、连续地发展的。在这一比喻中，理论家如同航行中的水手，他们必须一边航行，一边不断修补和替换船体的部件，而无法将整艘船彻底拆毁后重新建造，否则船便会沉没。这种困难与学习过程中遇到的问题具有高度相似性，这一比喻同样适用于结构学习。纽拉特之船所体现的“边航行边修船”的过程，可以严格形式化为层次贝叶斯推断框架下一种特殊的近似结构学习方法。Thomas L. Griffiths等人[11]在一篇人类因果学习研究中提出并实验证明：基于人类认知资源的有限性，人类不会同时持有全套因果模型分布，只维持单一全局因果假设，仅作局部增量修正。

作者基于Griffiths等人的观点进一步提出，语义记忆负责建立描述环境规律的生成模型，并据此实现经验的高效压缩。由于计算资源和存储资源有限，语义记忆通常只维护关于环境整体因果结构的一个（或几个）当前工作假设。

在将记忆视为在线结构学习的框架下，分块训练的优势可以得到清晰解释。同一情境下连续出现的试次使学习者能够集中探索整体结构的局部，显著缩小假设空间。一旦正确结构被发现，语义记忆便可高效压缩后续观察，并优化模型参数。相比之下，交错训练迫使学习者面对更大的假设空间，难以形成初始结构假设。缺乏有效的解释框架，有用信息无法被选择性保留，阻碍支持正确结构的证据积累。

Bonan Zhao等的一项研究进一步直接建立了课程安排与结构发现之间的联系[12]。构建式课程（先学单一特征，再引入第二种）比解构式课程（两种特征同时呈现）更利于结构发现。（图8）。这一实验结果与理论推断一致：由于最初缺乏合适的解释结构，他们无法有效压缩第一阶段的信息，因此错失了之后修正模型所需的重要证据。

图8. a. 当人类能够较早学习到一种有用的结构时，学习效果会更好。在该实验中，条纹数量（St）和斑点数量（Sp）共同决定一根“木棍”的长度，而木棍的长度由一叠矩形（Re）表示. b. 在建构式课程条件下，被试在第一阶段识别出基本结构St × Re，更容易发现完整地生成结构St × Re − Sp；解构式课程条件下，被试难以学习正确结构

在线结构学习的新框架下，人类在分块训练情况下更好的学习表现如上所属能够被很好地进行解释。情景记忆似乎不再需要被用于生成交错训练来支持人类学习来避免”灾难性遗忘“[5]，那么，情景记忆又是如何支持语义知识的形成与学习的呢？

情景救生筏与变速率编码

高效压缩要求语义记忆主动舍弃无关信息；而发现环境真正的结构，则要求那些当前看似无关的信息能够继续保存在情景记忆中，以便未来用于检验其他结构假设。为了缓解语义学习在结构性假设错误时产生的失败模式，唯一普遍适用的方法，是保留那些在当前假设下看似无关、但在评估其他可能假设时可能变得重要的信息。

作者认为情景记忆以一种细节丰富、结构相对未精炼的形式保存经验，使学习者能够进行更大幅度的模型结构修正。延续上一节的“诺伊拉特之船（Neurath’s ship）”隐喻，作者将这一机制称为“情景救生筏”。

尽管“情景救生筏”对结构学习显然有益，但情景记忆本身是一种成本高昂的记忆形式。其成本正源于其价值所在：保留高度个体化的细节是昂贵的。因此，在记忆成本与学习收益之间存在权衡，这引出了一个问题——如何分配有限资源，以及优先记住哪些事件。

率失真理论的核心洞见恰好能够化解这一矛盾：情景可按不同细节粒度分层压缩，实现资源分配（码率）与失真程度之间的权衡。这意味着记忆并非只有两种二元选择（完整存储事件原貌或仅更新模型参数），而是支持变码率编码，对记忆重建的保真度存在可调的区间。具体而言，编码码率（等同于记忆复现所需达到的精准度）由单次观测对应的惊奇度 / 新颖度指标决定（图9）。基于这套机制：符合模型预测的常规经历会被高度压缩，因此更容易产生“基于要义的失真”；而带来惊奇感的观测仅做轻度压缩，从而保留更精细的情景细节。这一机制可以解释为何意外经历通常比预期经历更容易被详细记住。

图9. 变速率编码，即根据经历的意外程度分配不同的编码资源：对于高惊讶度事件，系统投入更多资源进行编码，从而使这些事件的回忆准确性高于预测性事件。

将实现变率压缩的计算机制与大脑中的神经实现联系起来时，会出现关键挑战：首先，尽管率失真理论允许在多个压缩水平上进行编码，但每一个压缩水平都依赖于一对为特定率–失真权衡优化的独立编码器–解码器，这意味着需要同时维持多个语义模型，这与“诺伊拉特之船”的原则相矛盾。已有多种机器学习方法被提出，用以实现变率压缩，同时避免依赖多个编码器–解码器对。关于大脑如何实现变率压缩，一个有前景的思路是采用分层生成模型（hierarchical generative model），其中层级结构中更深的层对应逐渐更强的压缩水平（图10）。

类似于这些模型，人类视觉皮层被认为以层级方式表征感知信息：早期层响应边缘等基础特征，中间层检测纹理，更深层则将这些特征整合为物体与场景的表征。分层模型提供了一种直接降低记忆容量的方法：随着时间推移，系统可以逐步丢弃信息，首先丢弃低层级的细节。作者提出一个有趣的可能性是，将皮层层级结构中的某些层与生成模型中的变量层级对应起来。在记忆存储与提取过程中，可能由海马区保留这些不同层级的激活状态，并在回忆时将其重新注入到相应的皮层层级中。随后，记忆资源可以通过逐步丢弃记忆痕迹中越来越深层的激活来减少，使得包含更多情景细节的记忆依赖于感觉层级中较早的表示。

图10. 层级结构中更深的层对应逐渐更强的压缩水平

生物的世界模型

从语义记忆到世界模型

在前面的讨论中，我们已经将语义记忆形式化为一个关于环境的内部生成模型——它捕捉世界的统计规律，使经验能够被高效压缩，并指导预测、决策和行为。这一描述与人工智能领域中近来备受关注的"世界模型"（world model）概念，在本质上高度一致。

所谓世界模型，指的是智能体（agent）所维护的一套关于环境动态的内部表征，它能够追踪环境的状态、预测行动的后果，并支持想象和规划。正如Nagy等人将语义记忆视为"在线结构学习"的核心组件，现代人工智能研究中的世界模型同样承担着从经验中学习环境因果结构、并在这一结构支持下进行高效预测和决策的功能。然而，尽管这一方向前景广阔，当前世界模型的构建仍面临一系列深刻挑战。

世界模型架构演进

在2018年，Hafner和Schmidhuber提出了基于循环神经网络的世界模型架构，通过学习环境的压缩表示来训练智能体。Hafner等早期研究专注于抽象外部世界，从而深入理解其底层机制。模型能够模拟特定行为在外部环境中可能产生的结果，本质上是在构建一个对未来世界演化过程的模拟系统，并基于对未来状态的预测结果进行决策。此后，世界模型的定义和实现架构不断发生着演化。这里简单展开不完全归纳：

Transformer世界模型

近年来，Transformer架构也开始被引入世界模型的构建。IRIS（2023）用自回归Transformer替代了循环网络，在离散token序列上建模世界动态；TransDreamer引入了Transformer状态空间模型来处理记忆密集型任务；后续的Δ-IRIS通过上下文感知的增量编码提升了token化效率。这些模型表明，Transformer在长程依赖建模上的优势可以转化为世界模型在长程预测任务中的更强能力。

图11：IRIS时序想象推演结构图

视频生成模型作为世界模拟器

以OpenAI的Sora和Google的Genie为代表，将世界建模视为视频生成问题。这些模型通过自回归或扩散机制生成高保真度的未来帧，展现了在物理规律建模方面的涌现能力。然而，这类方法的核心局限在于：视觉逼真不等于因果理解——生成可信的视频并不等同于理解了视频背后物理世界的运作机制。

视频：Google Genie3生态环境场景生成

JEPA架构兴起：

Yann LeCun于2022年提出的联合嵌入预测架构（Joint-Embedding Predictive Architecture, JEPA），代表了世界模型研究的重要范式转变。Yann LeCun认为一个世界模型不仅应具备对现实世界的感知与建模能力，还应能够想象未来状态，以支持智能体的决策过程。与生成式模型试图在像素空间重建未来帧不同，JEPA在抽象的隐表示空间中进行预测——学习预测掩码区域的表示而非像素值。LeCun的核心论点是：真正的智能不应关注像素级的无关细节，而应理解世界的高层语义结构。V-JEPA 2及其动作条件变体为JEPA作为世界模型提供了验证。

发展瓶颈：当前世界模型面临的结构性困境

尽管进展迅速，世界模型的构建仍面临多重瓶颈。第一，表示崩溃与训练稳定性。 JEPA架构在训练过程中面临严重的"表示崩溃"风险——编码器和预测器可能通过输出恒定值来找到"捷径"，使预测误差为零却未学到任何有意义的表示。研究者不得不依赖复杂的损失函数、精心设计的正则化技巧和启发式训练策略来规避这一问题。第二，因果条件差距。当前许多世界模型的预测更多依赖于历史上下文和任务意图，而非真正理解动作——它们能生成语义上合理的未来，却不一定忠实反映候选行动的物理后果。第三，结构发现困境。现有世界模型大多在固定的结构假设下进行参数估计，却难以进行真正的"结构学习"——即发现环境中此前未知的因果变量和它们之间的关系。正如Nagy等人的咖啡例子所示，当水温这一未被纳入模型的变量突然变得重要时，纯粹基于参数更新的系统将无法识别问题所在。第四，灾难性遗忘与持续学习。当世界模型按顺序学习多个任务或环境时，新任务的学习往往覆盖旧任务的知识——这正是McClelland等人所描述的灾难性遗忘。目前，人工系统仍远未达到生物大脑在持续学习方面的灵活性。

生物的世界模型：来自大脑记忆系统的启示

生物大脑是否拥有"世界模型"？从自适应压缩框架的视角来看，答案无疑是肯定的——语义记忆本质上就是一个在不断演化的世界模型。但这个生物世界模型与当前人工世界模型相比，展现出若干根本性差异，而这些差异恰恰指向了未来研究的关键方向。

启示一：世界模型不是静态的，而是在线演化的。 Nagy等人提出的"诺伊拉特船"隐喻精准地捕捉了生物世界模型的核心特征：大脑不是一次性构建一个完美的世界模型，而是在使用中不断修补和更新它。语义记忆维持一个动态的、不断演化的结构假设，通过增量修改而非整体替换来适应环境变化。这提示人工世界模型的设计应当放弃"一次性预训练、固定部署"的范式，转而追求真正的在线结构学习能力。

启示二：世界模型需要"惊讶驱动"的修正机制。生物大脑的可变速率编码机制——常规经验被高度压缩，而令人惊讶的经验以较低的压缩率保存——为世界模型提供了一种优雅的"异常检测与修正"机制。当世界模型的预测被违反（高惊讶）时，情景记忆保留详细的情节信息，供后续重新审视和模型更新。这一"情景救生筏"机制提示我们：人工世界模型不应均匀对待所有经验，而应根据预测误差或新奇度动态分配记忆资源。

启示三：世界模型应当是多层级、多尺度的。人类视觉皮层以层级方式处理信息——从边缘、纹理到物体和场景，不同层级对应不同程度的抽象和压缩。H-JEPA（层级JEPA）的探索方向与此一致：低层级进行短期、详细的预测，高层级进行长期、抽象的预测。

启示四：世界模型不需要像素层面的精确，但需要因果层面的正确。LeCun的JEPA架构主张在隐空间预测而非像素空间重建，这一理念与生物记忆系统的工作方式高度一致。生物大脑从不试图精确重建感官经验的每一个细节——正如推文中所述，记忆是有损压缩的产物。相反，大脑编码的是经验的"要义"，是那些对预测和行为有意义的抽象结构。然而，当前JEPA方法仍主要关注表示学习，在真正的因果推断和结构发现方面仍有不足。生物大脑通过情景记忆保存原始经验的"异常样本"，使得因果结构的修正成为可能——这一机制或许为从“好的表示”迈向“正确的因果模型”提供了重要启示。

世界模型的研究正站在一个重要的十字路口。一方面，JEPA、视频生成模型和深度强化学习的融合正在推动前所未有的技术进步；另一方面，表示崩溃、因果推断困难、结构发现瓶颈和持续学习挑战等根本性问题尚未得到解决。

本文中所提及的自适应压缩框架——将语义记忆视为在线演化的世界模型、将情景记忆视为惊讶驱动的修正机制，也许从一个侧面提供了独特的理论视角。生物大脑并非一台完美的计算机，而是运行着一个在不断试错中逐步完善的、路径依赖的、多层级耦合的近似推断系统。它的"不完美"——记忆失真——其背后的计算原则恰恰是其适应性的来源。

未来世界模型的构建，或许需要更深地借鉴这一生物智慧：不是追求一个静态完美的内部模型，而是设计能够在线发现结构、在多尺度上自适应演化的智能系统。正如诺伊拉特船上的水手，我们或许永远无法拥有一艘全新的船——但我们可以通过不断修补和重建，让它载着我们驶向更深的水域。

参考文献：

[1] Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences, 79(8), 2554–2558. https://doi.org/10.1073/pnas.79.8.2554

[2] Ackley, D. H., Hinton, G. E., & Sejnowski, T. J. (1985). A learning algorithm for Boltzmann machines. Cognitive Science, 9(1), 147–169. https://doi.org/10.1207/s15516709cog0901_7

[3]Roediger, H. L., III, & McDermott, K. B. (1995). Creating false memories: Remembering words not presented in lists. Journal of Experimental Psychology: Learning, Memory, and Cognition, 21(4), 803–814. https://doi.org/10.1037/0278-7393.21.4.803

[4] Carmichael, L., Hogan, H. P., & Walter, A. A. (1932). An experimental study of the effect of language on the reproduction of visually perceived form. Journal of Experimental Psychology, 15(1), 73–86. https://doi.org/10.1037/h0071340

[5] McClelland, J. L., McNaughton, B. L., & O’Reilly, R. C. (1995). Why there are complementary learning systems in the hippocampus and neocortex: Insights from the successes and failures of connectionist models of learning and memory. Psychological Review, 102(3), 419–457. https://doi.org/10.1037/0033-295X.102.3.419

[6] Kumaran, D., Hassabis, D., & McClelland, J. L. (2016). What systems of memory support compositional generalization? A complementary learning systems perspective. Neuron, 91(4), 866–878. https://doi.org/10.1016/j.neuron.2016.07.004

[7] Schaul, T., Quan, J., Antonoglou, I., & Silver, D. (2016). Prioritized experience replay. International Conference on Learning Representations (ICLR). arXiv:1511.05952.

[8] Flesch, T., Balaguer, J., & Spiers, H. (2018). Blocked versus interleaved learning in humans and convolutional neural networks. Journal of Cognitive Neuroscience, 30(12), 1812–1826. https://doi.org/10.1162/jocn_a_01326

[9] Nagy, D. G., Orbán, G., & Wu, C. M. (2025). Adaptive compression as a unifying framework for episodic and semantic memory. Nature Reviews Psychology. https://doi.org/10.1038/s44159-025-00458-6

[10]Nagy, D. G., Török, B., & Orbán, G. (2020). Optimal forgetting: Semantic compression of episodic memories. PLOS Computational Biology, 16(10), e1008367. https://doi.org/10.1371/journal.pcbi.1008367

[11]Bramley, N. R., Dayan, P., Griffiths, T. L., & Lagnado, D. A. (2017). Formalizing Neurath’s ship: Approximate algorithms for online causal learning. Psychological Review, 124(3), 301–338. https://doi.org/10.1037/rev0000061

[12]Zhao, B., Lucas, C. G., & Bramley, N. R. (2024). A model of conceptual bootstrapping in human cognition. Nature Human Behaviour, 8(1), 125–136. https://doi.org/10.1038/s41562-023-01719-1

[13]Shin, H., Lee, J. K., Kim, J., & Kim, J. (2017). Continual learning with deep generative replay. In Advances in Neural Information Processing Systems (Vol. 31, pp. 2994–3003). Curran Associates. https://dl.acm.org/doi/10.5555/3294996.3295059

作者简介

世界模型读书会

目前，世界模型并非边界明确的单一技术范式。强化学习、生成模型、认知科学、具身智能与复杂系统等领域，对“世界”“状态”及其动力学机制有着不同理解。世界模型究竟应预测感知信号、学习隐空间中的状态转移，还是刻画行动、物理约束与因果关系？预测能力又如何转化为有效的规划、决策和行动？这些问题仍有待系统梳理。

为此，集智俱乐部联合认知科学、具身智能、AI Agent、复杂系统与高阶网络等领域的研究者发起，围绕世界模型的思想源流、理论基础、技术路线与应用边界展开专题分享和讨论。读书会自2026年8月7日起，每周五晚19:30-21:30，将以“世界如何被表征、其动力学如何被建模、内部模型如何服务于智能体”为主线，尝试讨论整理世界模型统一框架。

详情请见：

1.

2.

3.

4.

5.

6.

7.