图模型大脑：信念传播与主动推理

图模型大脑：信念传播与主动推理

The graphical brain: Belief propagation and active inference

https://direct.mit.edu/netn/article/1/4/381/5401/The-graphical-brain-Belief-propagation-and-active?utm_source=researchgate.net&utm_medium=article

摘要

本文从计算的角度考察大脑中的功能整合。我们追问，主动推理要求何种神经元消息传递——以及这对微观和宏观层面上情境敏感的 connectivity 意味着什么。特别地，我们将神经元处理表述为深度生成模型下的信念传播。至关重要的是，这些模型能够同时容纳离散状态和连续状态，从而导致在同一（神经元）架构上展开的不同的信念更新方案。在技术上，我们使用 Forney（正规）因子图来阐明所需消息传递的形式和调度。为了容纳（离散状态和连续状态的）混合生成模型，还必须考虑能够使离散表征与连续表征相互沟通的链接节点或因子。当将隐含的计算架构映射到神经元 connectivity 上时，若干有趣的特征浮现出来。例如，联结离散状态和连续状态的贝叶斯模型平均与比较，可能在大脑皮层环路中实现。这些以及其他考量指向一个计算 connectome，它本质上是状态依赖的，并以某种自组织方式运作，而这种自组织方式服从于一种有原则的（变分）解释。我们以阅读的模拟作结，这些模拟展示了隐含的神经元消息传递，并特别关注离散（语义）表征如何告知连续（视觉）感觉采样，以及如何被其告知。作者摘要 本文从计算的角度考察大脑中的功能整合。我们追问，主动推理要求何种神经元消息传递——以及这对微观和宏观层面上情境敏感的 connectivity 意味着什么。特别地，我们将神经元处理表述为深度生成模型下的信念传播，这些模型能够同时容纳离散状态和连续状态。这导致在同一（神经元）架构上展开的不同的信念更新方案。在技术上，我们使用 Forney（正规）因子图来刻画所需的消息传递，并将这一形式刻画与大脑中的典型微环路和外在 connectivity 联系起来。

关键词：贝叶斯，神经元，连接性，因子图，自由能，信念传播，消息传递

引言

本文试图从神经元计算的角度来描述大脑中的功能整合。我们首先追问大脑在做什么，以看看神经元消息传递的隐含约束能把我们带多远。特别地，我们假设大脑从事某种形式的（贝叶斯）推理——因此可以被描述为最大化贝叶斯模型证据（Clark, 2013; Friston, Kilner, & Harrison, 2006; Hohwy, 2016; Mumford, 1992）。这意味着大脑体现了一个生成模型，并为此试图收集最大的证据。在这种观点下，理解功能整合就是理解生成模型的形式，以及它如何被用来对从世界中主动采样得到的感官数据作出推断。幸运的是，关于能够实现这种（贝叶斯）推理形式的各种方案，人们已经所知甚多，从而提供了发展一种过程理论（即神经上合理的方案）的可能性，该理论实现自我证成的规范原则（Hohwy, 2016）。

简言之，这篇（相当长的）论文试图整合三个主题，以提供关于大脑中消息传递或信念传播的全面视角。这些主题包括：(a) 从贝叶斯大脑和主动推理的视角看信念传播的形式基础；(b) 隐含消息传递的生物学基质；以及 (c) 离散表征（例如语义）如何可能与连续量（例如视觉对比亮度）的表征相互沟通。在技术上，关键贡献有两个：第一，在因子图所提供的框架下，推导广义运动坐标中的信念传播和贝叶斯滤波。这一推导突出了离散模型中未来时间点轨迹的表征与连续模型中广义运动坐标中轨迹表征之间的相似性。第二，我们描述了一种相当通用的方式，通过贝叶斯模型选择与平均将离散表征和连续表征联系起来。为了利用这些技术进展来理解大脑功能，我们强调它们对神经元消息传递的结构和动力学所提供的约束，并使用来自解剖学和神经生理学的粗粒度证据。最后，这种消息传递的性质通过图像阅读的模拟加以说明。

生成模型：

或前向模型；一种从原因到观察到的后果（数据）的概率映射。它通常根据给定原因（模型参数）得到某些数据的似然以及关于参数的先验来指定。

广义运动坐标：

涵盖一个变量的值、它的运动、加速度、急动度以及更高阶运动。广义坐标中的一个点对应于随时间变化的一条路径或轨迹。

因子图：

一种二分图（其中两个不同的节点集合通过边连接），表示一个函数的因式分解，通常是一个概率分布函数。将贝叶斯网络或模型表述为因子图，能够通过和积算法高效计算边缘分布。

贝叶斯网络：

贝叶斯网络、模型或信念网络是一种概率图模型，它通过有向无环图表示一组随机变量及其条件依赖关系。

在下文中，我们使用图形表示来刻画大脑可能使用的深度（分层）生成模型下的消息传递。我们使用三种图来强调生成模型的形式、贝叶斯信念更新的性质，以及这如何在神经回路中实现——既在大尺度皮层层级水平上，也在更详细的典型微回路水平上。这三种图包括贝叶斯网络或依赖图（MacKay, 1995; Pearl, 1988），其中节点对应于必须被推断的未知变量，边表示这些（随机）变量之间的依赖关系。这提供了对（例如感官）数据如何生成的简明描述。为了突出所需的消息传递和计算架构，我们将使用Forney或正规风格的因子图（Loeliger, 2002）。在Forney因子图中，节点现在表示局部函数或随机变量上概率分布的因子，而边则转而表示变量本身（或者更准确地说，是这些变量上的概率分布）。最后，我们将使用神经网络或回路，其中节点由未知变量和其他辅助变量（如预测误差）的充分统计量构成。这些图中的边表示充分统计量（的函数）的交换——这种交换可以按照神经元（轴突）连接来理解。至关重要的是，这些图形表示在形式上是等价的，即任何贝叶斯网络都可以表示为因子图。而因子图上的任何消息传递都可以被描述为神经网络。然而，正如我们稍后将看到的，各种图形表述对信念更新或传播提供了不同的视角。我们将利用这些视角，从一种纯粹规范的理论（基于贝叶斯模型证据的最大化或变分自由能的最小化）走向一种过程理论（基于信念传播和动力系统的吸引子）。

在本文中，我们使用Forney因子图纯粹是出于教学目的；也就是说，是为了说明在信念传播中消息组合的简单性——并强调消息传递的递归方面。然而，将生成模型表述为Forney因子图有许多实际优势，尤其是在计算机科学或实现环境中。因子图是一类重要的概率图模型，因为它们有助于推导（近似）贝叶斯推断算法。当生成模型被指定为因子图时，潜变量通常可以通过执行一个可以自动推导出的消息传递调度来推断。例子包括用于精确推断的和积算法（信念传播），以及用于近似推断的变分消息传递和期望传播（EP）（Dauwels, 2007）。包含连续变量和离散变量的概率（混合）模型（Buss, 2003）需要一个链接因子，例如逻辑或概率单位链接函数。我们将使用一个通用链接因子，它实现事后贝叶斯模型比较与平均（K. Friston & Penny, 2011; Hoeting, Madigan, Raftery, & Volinsky, 1999）。在技术上，为潜类别状态的生成模型配备处理连续数据的能力，意味着人们可以对连续数据进行分类——并使用关于类别的后验信念作为处理连续数据（例如时间序列）的经验先验。显然，这是大脑在知觉分类和动作选择过程中一直在做的事情。关于Forney因子图的介绍，见Kschischang, Frey, and Loeliger (2001)和Loeliger (2002)。

本文包括六个部分。第一部分根据最小化惊讶、解决不确定性以及（隐含地）最大化模型证据的（规范）要求来概述主动推理。这一部分关注最小化期望自由能的行为或策略（动作序列）的选择——以及这在直觉上意味着什么。在确立了大脑从事主动（贝叶斯）推理这一基本前提之后，我们转而讨论正在寻求证据的生成模型。第二部分考虑数据的状态或原因在本质上是离散或分类的模型。特别地，它考虑基于马尔可夫决策过程的生成模型，这些模型用贝叶斯网络和Forney因子图来刻画。从这些模型中，我们发展出一种可能实现所需信念传播的推定（神经网络）微回路。这一部分还借此机会，通过结合（贝叶斯网络和Forney因子）图形表述来区分贝叶斯推断和主动推理，以展示推断的产物如何耦合回生成（感官）数据的过程，从而使大脑能够撰写它所积累的数据或证据。这一部分最后描述了由马尔可夫决策过程组成的深度模型，这些模型在时间上分层嵌套。

第三部分将同样的处理应用于具有连续状态的生成模型，使用基于广义运动坐标的一般表述（K. Friston, Stephan, Li, & Daunizeau, 2010）。这种处理强调与离散模型下信念传播的形式等价性。第四部分考虑这样一种生成模型，其中马尔可夫决策过程被置于连续状态空间模型之上。这一部分处理模型两部分如何链接的特殊问题。本文的技术贡献是通过离散先验（关于连续动力学的原因）的贝叶斯模型平均，将连续状态与离散状态联系起来。反过来，关于这些原因的后验概率密度通过贝叶斯模型比较被转换为离散表示。这一部分最后提出了一种关于大脑中外在（区域间）消息传递的提议，它与混合生成模型下信念传播的架构相一致。

特别地，我们强调皮层与皮层下（基底神经节和丘脑）系统之间消息传递的可能作用。第五部分使用（隐喻性）阅读的模拟来说明信念传播及相应的过程理论。这一部分展示消息传递如何运作，并澄清诸如隐藏状态、字母、单词和句子等概念。至关重要的是，关于（离散）单词和句子所作的推断，使用由扫视眼动所获取的（连续）感官数据，这些数据随时间累积视觉（和本体感觉）输入。我们以一个简短部分作结，讨论在信念传播方案下可以诱导出的情境敏感连接性的含义。我们关注内在兴奋性的调节；具体而言，是浅层锥体细胞的传入——以及作为一个更抽象的层面，对由连接性的动态波动所导致的那种自组织临界性的含义（Aertsen, Gerstein, Habib, & Palm, 1989; Allen et al., 2012; Baker et al., 2014; Breakspear, 2004）。

自由能：
一种信息论度量，它界定（大于）在给定生成模型的情况下采样某些数据时的惊讶。

经验先验：
由分层模型诱导的先验；它们以通常方式对识别密度提供约束，但依赖于数据。

惊讶：
惊讶或自信息是某个结果的负对数概率。因此，一个不太可能的结果是令人惊讶的。

先验：
关于数据原因的概率分布或密度，它编码了在观察数据之前关于这些原因的信念。

条件密度：
或后验密度；在给定某些数据的情况下，原因或模型参数的概率分布；也就是说，一种从观察到的数据（后果）到原因的概率映射。

主动推理：自我证成与期望自由能

以下所有内容都取决于界定大脑做什么，或者更确切地说，它必须拥有哪些属性才能在一个变化的世界中持续存在。在这个意义上，大脑遵循所有有感知能力的生物的 imperative；也就是说，将自身限制在有限数量的吸引状态中（Friston, 2013）。在数学上，这可以被表述为最小化自信息或惊讶（在信息论术语中）。或者，这等价于最大化贝叶斯模型证据；也就是说，在关于这些感觉如何被引起的模型下，与环境进行感官交换的概率。这就是自由能原理及其推论——主动推理——的本质，它可以被简洁地概括为自我证成（Hohwy, 2016）。直观地说，自我证成意味着大脑可以被描述为推断感觉样本的原因，同时主动寻求最不令人惊讶的感觉（例如，不直视太阳或将温度感受器放电维持在生理范围内）。在技术上，这种关于行动和知觉的观点可以被表述为最小化惊讶的一个代理；即变分自由能。至关重要的是，主动推理推广了贝叶斯推理，因为其目标不仅是推断引起感觉的潜在或隐藏状态，而且要以一种将在未来最小化期望惊讶的方式行动。在信息论中，期望惊讶被称为熵或不确定性。这意味着人们可以将最优行为定义为行动以解决不确定性（例如，扫视到显著的或信息丰富的视觉空间区域，或避免先验上代价高昂或没有吸引力的结果）。正如直接行动和知觉通过最小化自由能替代性地最小化惊讶一样，行动可以根据在追求该策略时最小化期望自由能的策略来指定。

期望自由能

外在（实用）价值 simply 就是策略的期望值，其定义依据是先验偏好的结果，其中等效成本对应于先验惊奇（参见表1术语表——Friston, Parr, et al., 2017）。更有趣的部分是解决不确定性或内在（认知）价值，其各种称谓包括相对熵、互信息、信息增益、贝叶斯惊奇，或特定策略下的期望信息价值（Barlow, 1961; Howard, 1966; Itti & Baldi, 2009; Linsker, 1990; Optican & Richmond, 1987）。期望自由能的另一种表述可见于补充信息附录1（Friston, Parr, et al., 2017），该表述表明期望自由能也是关于结果的期望不确定性（即模糊性）加上预测结果与偏好结果之间的库尔贝克-莱布勒散度（即相对熵或风险）。这意味着最小化期望自由能保证实现偏好结果，同时解决关于产生这些结果的世界状态的不确定性。

（库尔贝克-莱布勒）散度：信息散度、信息增益或相对熵，是一种非交换性的度量，用于衡量两个概率分布之间的差异。

在下文中，我们将较少关注期望自由能的实用或功利方面，而聚焦于探索感觉运动显著区域的认知驱动力。我们此前已从眼跳运动的角度讨论了这种认知觅食，使用广义贝叶斯滤波器作为神经元动力学模型（Friston, Adams, Perrinet & Breakspear, 2012）。在本文中，我们再现了同类行为，但效率要高得多，使用了一个同时包含离散和连续状态的生成模型。简言之，我们将使用离散状态空间模型来生成关于下一步看哪里的经验先验或预测，并使用连续状态空间模型来实施这些预测，从而获取（视觉）信息，使得对视觉样本的建构主义解释成为可能：即场景构建（Hassabis & Maguire, 2007; Mirza, Adams, Mathys, & Friston, 2016）。倒数第二节展示了阅读模拟，以说明深度生成模型在主动推理中的应用。然而，我们首先考虑生成模型的性质及其带来的信念更新。在下文中，牢记现实世界中的真实生成过程与智能体对该过程的生成模型之间的区别将很有用。这一区别很重要，因为主动推理涉及一个过程的生成模型与该过程本身如何以循环方式耦合，以描述感知-行动循环（Fuster, 2004; Tishby & Polani, 2010）。

离散生成模型

本节聚焦于由无法直接观测的离散状态（即潜在或隐藏状态）所导致的离散结果的生成模型。简言之，这些模型中的未知变量对应于产生策略结果或动作序列的世界状态。请注意，策略必须被推断出来。换句话说，在主动推理中，人们必须推断自己当前正在追求什么策略，而这种推断可能会被先验信念或偏好所偏置。正是这些先验偏好赋予了动作目的性和目标导向的方面。

图1以互补的形式描述了这些生成模型的基本形式，以及观察到新（感觉）结果后隐含的贝叶斯信念更新。左侧的方程根据结果、状态和策略的概率分布来指定生成模型，这些分布可以用边缘密度或因子来表示。这些因子是蕴含条件依赖性的条件分布，由右上角贝叶斯网络中的边进行编码。图1中的模型通过以下方式生成结果。首先，使用合理策略下预期自由能的softmax函数，在最高层级选择一种策略（即动作序列）。随后，隐藏状态序列利用所选策略指定的概率转移生成，这些转移编码在B矩阵中。这些矩阵根据策略特定的分类分布来编码概率转移。随着策略的展开，状态在每个时间点生成概率性结果。每个结果的可能性由A矩阵编码，表现为每个状态下结果上的分类分布。

该图的关键在于，它揭示了那些对隐藏状态的后验边缘概率有贡献的消息；这里是以每个策略为条件的。这些消息构成了来自过去表征的（前向：2）消息、来自未来的（后向：3）消息，以及来自结果的（似然：4）消息。至关重要的是，过去和未来在任何时候都被表征着，因此随着时间推移、新的结果变得可用时，更多的似然消息会参与到消息传递中，从而提供信息更充分的（近似）后验。这有效地执行了在线数据同化（由前向消息介导），而该过程又受到关于未来结果的先验信念（由后向消息介导）的指引。请注意，策略与一条半边相关联。这是因为它只出现在一个因子中；即基于期望自由能G的策略概率分布。此外，策略似乎并不参与消息传递；然而，我们将在下文看到，当我们将消息传递与生成过程耦合起来以完成一个主动推理方案时（以及稍后当我们考虑分层模型中层级之间的耦合时），策略预期会发挥关键作用。在隐藏状态因子之间进行信念传播不需要策略的原因是，为清晰起见，我们将每个策略下的隐藏状态s合并为一个单一变量（以及相关的概率因子B）。这意味着，在编码隐藏状态的因子之间的消息传递，会针对每个策略并行进行，而不管该策略的可能性有多大。最后请注意，为期望自由能提供信息的结果并非观察到的结果，而是基于每个策略下的预期状态所预测的结果（即消息5）。

信念更新与传播

将生成模型表示为因子图，使人能够清晰地看到推断所蕴含的消息传递或信念传播。例如，通过应用和-积规则，任意时间点上隐藏状态的边缘后验，就是所有传入相关因子节点的消息的乘积，其中（忽略常数项）

这些对应于编码来自前一状态的经验先验的消息（前向消息2）、来自后一状态的经验先验的消息（后向消息3），以及似然（消息4）。这些消息通过前向和后向矩阵乘法创建，使我们能够用底层概率分布的充分统计量——即它们的期望——来表达信念传播（见图1左下方面板）：

概率转移矩阵也使用相同的约定。方程（2）中前向和后向消息的混合，使得这种信念传播类似于贝叶斯平滑器或隐马尔可夫模型的前向-后向算法。然而，与传统方案不同，这里的信念传播在尚未看到所有结果之前就运作。换句话说，关于隐藏状态的期望与策略制定过程中的连续时间点相关联，使模型具备对过去和未来的短期记忆。这意味着部分观察到的结果序列可以为关于未来的期望提供信息，而这些期望对于评估策略的期望自由能是必需的。

图2用小箭头说明了介导这种预测性（和后测性）推理的消息传递的循环性质。可以清楚地看到，第一个结果可以影响关于最终隐藏状态的期望，而关于最终隐藏状态的期望又会回溯并影响关于初始状态的期望。这将成为后文所考虑的深度时间模型的一个重要方面。在当前语境下，这意味着由于循环的消息传递，我们面对的是环状（循环）信念传播。这使得该方案是近似的，而非实现精确的贝叶斯推理。可以证明，在循环或环状图中迭代信念传播的驻点会最小化（边缘）自由能（Yedidia, Freeman, & Weiss, 2005）。这凸显了变分消息传递（Beal, 2003; MacKay, 2003）、环状信念传播和期望传播（Minka, 2001）之间的密切联系。此处推理的近似性质基于这样一个事实：我们实际上是在优化关于连续隐藏状态的边缘分布，因此是用（见图1）来近似真实后验

针对这种变分近似的相应变分自由能，提供于补充信息附录2（Friston, Parr, et al., 2017），并且在形式上与信念传播或此处所述的和-积算法所最小化的边缘自由能相关（Friston, FitzGerald, Rigoli, Schwartenbeck, & Pezzulo, 2017; Yedidia et al., 2005）。

请注意，图1中的Forney因子图针对随时间变化——以及每种策略下——的隐藏状态设定了单独的消息。这与我们对神经元表征的了解相一致；例如，在延迟匹配样本任务期间，前额叶皮层单元所显示的延迟期活动中，隐含了关于过去和未来的不同（位置编码）表征（Kojima & Goldman-Rakic, 1982）；相关讨论见Friston, FitzGerald, et al. (2017)。此外，可分离的（位置编码）策略表征在大脑中无处不在；例如，显著性图（Bender, 1981; Zelinsky & Bisley, 2015）或上丘中（外显或内隐）眼跳运动的编码（Müller, Philiastides, & Newsome, 2005; Shen, Valero, Day, & Paré, 2011）。

主动推理中的主动部分

图2结合了贝叶斯因子图和Forney因子图，以区分产生结果的过程与由结果引发的伴随推理。至关重要的是，描述生成过程的贝叶斯网络并不是描述生成模型的贝叶斯网络，而因子图正是基于后者。换句话说，在主动推理中，生成模型和过程是不同的。这是因为数据的实际原因取决于行动，而行动取决于（关于策略的）推理。换言之，推理的终点是关于指定行动的策略的信念——而行动会影响产生数据的真实状态之间的转移。简言之，推理方案有效地选择了它用于推理的数据。这意味着隐藏策略实际上并不存在；它们是通过行动实现的虚构构造。这是主动推理的一个重要部分，并展示了策略如何通过行动与现实世界耦合，从而完成感知和行动循环。它还强调了由消息传递介导的循环因果：消息从结果节点流向对应于期望自由能的因子，该因子决定策略的概率分布，从而产生有目的的（认知和目标导向的）行为。总之，信念传播的图形表示为计算架构提供了若干有用的见解。然而，这对我们了解大脑有什么启示呢？

念传播与神经动力学

通过建立常微分方程，使其解满足方程3，可以很容易地构建一个稳健且动态的信念（或期望）传播方案，由此，代入并引入一个辅助变量（状态预测误差），可获得以下更新方案（另见图3）：

这些微分方程对应于对（边缘）变分自由能的梯度下降，如 Friston, FitzGerald, et al. (2017) 所述：

梯度下降：一种优化方案，它通过按照函数在当前值处梯度的负值成比例地改变其自变量，来找到函数的最小值。

至关重要的是，它们还提供了一种神经元动力学的过程理论，其中S形函数可以被视为扮演S形（电压-放电率）激活函数的角色。这意味着关于隐藏状态的对数期望可以与编码期望的神经元或神经元群体的去极化相关联。这里的关键点在于，信念传播涉及简单的操作，这些操作映射到神经网络中常用的算子上；即（混合的）突触前输入的汇聚，以（非负）放电的形式，介导突触后去极化——然后通过非线性激活函数产生放电率响应。这就是用于模拟电生理反应的神经元群体活动的神经质量模型的（卷积）形式（例如，Jansen & Rit, 1995）。这一公式在关于证据积累的理论主张和实证工作（de Lafuente, Jazayeri, & Shadlen, 2015; Kira, Yang, & Shadlen, 2015）以及概率的神经元编码（Denève, 2008）方面也具有一定的构念效度。有趣的是，它还将预测误差视为自由能梯度，当梯度下降达到其吸引（平稳）点时，该误差实际上被消除；关于协同视角，见Tschacher and Haken (2007)。

信念传播的经典微回路

图3中的神经网络试图将Forney因子图中的消息传递与皮层分层之间内在连接的定量研究（Thomson & Bannister, 2003）对齐。这种（推测性的）指派使人们能够从信念传播的角度谈论内在连接的功能解剖。在此例中，状态预测误差单元（粉色）被指派到颗粒层（例如，棘状星状细胞群），这些层接收上行感觉信息（似然消息）。这些单元投射到代表（策略特定）期望状态（青色）的颗粒上层单元，这些期望状态被平均以形成贝叶斯模型平均值——与浅层锥体细胞（红色）相关联。期望状态随后向编码颗粒下层中期望结果的单元发送前向（内在）连接，这些单元反过来激发结果预测误差（评估期望自由能所必需；见附录2：Friston, Parr, et al., 2017）。这很好地捕捉了从颗粒层到颗粒上层，再到颗粒下层群体的前向（通常为兴奋性）内在连接，这正是经典皮层微回路的特征（Bastos et al., 2012; Douglas & Martin, 1991; Haeussler & Maass, 2007; Heinzle, Hepp, & Martin, 2007; Shipp, 2016）。另请注意，从期望状态到状态预测误差的相互（后向）内在连接是抑制性的，这表明颗粒上层中的兴奋性和抑制性中间神经元都编码（策略特定）期望状态。在计算上，方程6表明这种（层间）连接是抑制性的，因为（来自期望状态的）最后一项对预测误差的贡献是负的。在神经生物学上，这可能对应于一条后向内在通路，该通路由来自抑制性中间神经元的投射主导（Haeussler & Maass, 2007）。

方程6中的特定公式区分了编码隐藏状态期望的群体的较慢动力学与编码预测误差的群体的瞬时响应。这一公式引出了关于编码预测误差的棘状星状细胞相对于编码期望的锥体细胞的特征膜时间常数的有趣假设（例如，Ballester-Rosado et al., 2010）。至关重要的是，由于预测误差是期望的函数，而期望的变化率是预测误差的函数，人们会期望在层特异性振荡中看到此前在预测编码语境下讨论过的同类频谱差异（Bastos et al., 2012, 2015; Bosman et al., 2012）。

这个以及随后的神经网络不应被过于当真；它们被提供作为基于解剖学和神经生理学进行完善和解构的起点。关于这一努力的绝佳示例，见Shipp (2016)。上述神经网络的大量动机继承自关于预测编码所暗示的经典微回路中神经元消息传递的层特异性的类似（更详细的）论点。这些论点所依据的解剖学和神经生理学证据的更完整描述可见于Adam, Shipp, and Friston (2013), Bastos et al. (2012), Friston (2008), Mumford (1992), Shipp (2005, 2016), 和Shipp, Adam, and Friston (2013)。关于聚焦于层内连接在学习和编码不确定性中作用的论述，见Whittington and Bogacz (2017)。信念传播方案带来的一个有趣组成部分（预测编码中没有的；见下文图7和图10）是深层中结果预测误差的编码，这些误差向编码期望自由能的（皮层下）节点发送消息。这种消息传递可能由来自第5层（和深层第3层）锥体神经元的皮层纹状体投射介导，这些神经元以斑块状方式分布（Haber, 2016）。我们现在从局部（内在）消息传递转向考虑层级消息传递的基本形式，即可能在皮层层级中见到的那种。

深度时间模型

图1中的生成模型仅考虑了由所考虑策略的深度所指定的单一时间尺度或时间范围。显然，大脑在多个时间尺度上对世界状态的时间序列进行建模，这要求采用分层或深度模型。图4提供了一个示例，它通过将一个模型的部分（或全部）输出用于指定另一个（从属）模型的初始状态，从而有效地构建了一个深度模型，且形式完全相同。这种生成模型的关键方面在于，状态转换在层级的不同级别上以不同的速率进行。换句话说，从一个隐藏状态到下一个隐藏状态的转换，蕴含着下一层级的一系列转换。这是将任一层级的初始状态置于上一层隐藏状态条件下的必然结果。启发式地讲，这种分层模型在嵌套的时间尺度上生成结果，就像时钟的秒针，分针每走一格它就走完一圈，而分针又比时针走得更快。正是这种特定的构造赋予了生成模型深度时间架构。换句话说，较高层级的隐藏状态将较低层级的隐藏状态转换或轨迹置于语境中，以生成一个深度叙事。

就消息传递而言，等效的Forney因子图（图4；右下）表明，模型每个层级内的消息传递是守恒的。唯一的区别在于，消息沿着连接因子（D）的边双向发送，该因子表示以层级上方状态为条件的初始状态的联合分布。这些消息分别对应于上行和下行消息。上行消息6实际上使用下一层状态的（贝叶斯模型）平均值来补充上一层的观测。相反，下行消息2扮演经验先验的角色，它诱导关于下一层初始状态的期望，从而将快速的从属序列置于较慢的上级叙事语境中。

至关重要的是，所需的贝叶斯模型平均值通过消息1取决于期望策略。换句话说，构成下行先验的期望状态是策略特定期望的加权混合，而这恰好介导了一种贝叶斯最优乐观偏差（Friston et al., 2013; Sharot, Guitart-Masip, Korn, Chowdhury, & Dolan, 2012）。这种贝叶斯模型平均赋予了期望策略超出动作选择之外的作用。这可以从Forney因子图表示中看出，它显示消息从期望自由能节点G传递到初始状态因子D。简而言之，策略期望现在对连续的层级之间如何对话施加了强大的影响。我们稍后将从事后视角，从外在连接和皮层-基底神经节-丘脑环路的解剖学角度来探讨这一点。在考虑对大脑分层架构的含义之前，我们转向连续变量的等效消息传递，这恰好就是预测编码（Rao & Ballard, 1999; Srinivasan, Laughlin, & Dubs, 1982）。

连续状态模型

本节使用连续状态模型重新阐述上一节的处理。我们采用一种略显不寻常的连续状态公式，它既推广了已有的贝叶斯滤波方案，又恰好与离散状态的生成模型具有相似的形式。这种广义形式建立在用广义运动坐标描述轨迹的基础上。这些在物理学中很常见（例如，位置和动量）。在这里，我们考虑任意高阶的运动（即位置、速度、加速度、加加速度）。在处理广义运动时，要牢记的一个关键点是，当且仅当自由能被最小化时，广义运动的均值才是均值的运动。这对应于哈密顿的最小作用量原理。

图5展示了一个用广义运动描述的短序列或轨迹的生成模型。上方面板（左侧）显示，结果（通过静态非线性映射g）由当前状态生成，并伴有随机波动；对于更高阶的运动类似。隐藏状态的运动是当前状态的函数（运动方程或流f），加上随机波动。更高阶的运动以类似方式使用广义运动方程推导（左上角插图）。贝叶斯网络（右上）的写法突出了其与离散状态等效网络（图1）的形式相似性。这需要将由先验期望生成的广义隐藏原因合并在一起。在这种形式中，可以看到概率转移矩阵被广义运动方程取代，而似然映射变为静态非线性。相应的Forney因子图显示在右下角，其中我们引入了一些特殊的（局部函数）节点，对应于生成随机波动的因子及其对观测轨迹预测和隐藏状态流的添加。

在此情况下，信念传播和变分消息传递（即变分滤波）在形式上是相同的，因为信念传播中的消息与相应贝叶斯网络中每个随机变量的马尔可夫毯所需的消息相同（Beal, 2003; Dauwels, 2007; Friston, 2008）。

由此产生的广义变分或贝叶斯滤波方案有几个有趣的特别情况，包括（扩展的）卡尔曼（Bucy）滤波器，当我们只考虑一阶广义运动时，它就会自然出现。详见Friston et al. (2010)。当用预测误差来表达时，这种广义变分滤波对应于预测编码（Rao & Ballard, 1999; Srinivasan et al., 1982），后者已成为大脑中证据积累的一个公认隐喻。就主动推理而言，关于动作或控制状态对自由能的最小化，只需考虑关于结果的预测误差（因为这是唯一能通过动作改变的东西）。这引出了图6中的主动推理方案。

与离散模型一样，动作通过影响状态转移或流来回馈到生成过程。请注意，如上所述，生成过程在形式上可以与生成模型不同。这意味着真实的运动方程（用粗体函数f表示）变成了动作的函数。在此语境下，我们可以看到生成模型中的（虚构的）隐藏原因如何被动作所取代（或补充）；而动作是推理的产物。通过动作和感知对自由能的联合最小化——或对模型证据的最大化——依赖于过程（世界）和模型（大脑）之间条件依赖性的隐含闭合。更多细节见 K. Friston (2011) 和 K. Friston, Mattout, and Kilner (2011)。

预测编码的经典微回路

图7描绘了一个可能实现图6中消息传递的神经网络。这一提议基于 Bastos et al. (2012) 所描述的内在和外在连接的解剖结构。该图提供了图6中生成模型分层推广的更新动力学，其中较高层级的输出成为较低层级的隐藏原因。在这种分层设置中，预测误差包括关于隐藏原因和状态的预测误差。与离散状态模型一样，预测误差被指派到接收感觉传入和来自层级较低层的上行预测误差的颗粒层。鉴于消息传递需要将关于隐藏原因的预测误差传递到较高层级，可以假设它们由浅层锥体细胞编码；即上行外在连接的来源（Bastos et al., 2012; Felleman & Van Essen, 1991; Markov et al., 2013）。类似地，下行外在连接的来源主要局限于深层锥体细胞，这些细胞可以与期望的隐藏原因相关联。由此产生的神经网络再次与已知的外在和内在连接微回路显著一致，具有一系列前向（从颗粒层到颗粒上层，再到颗粒下层的内在连接）和相互的抑制性连接（Thomson & Bannister, 2003）。这种计算架构的一个普遍预测是，没有任何锥体细胞（在皮层层级早期）可以同时作为前向和后向连接的来源。这源于分别编码期望和误差的神经元群体的分离，其中误差单元向较高区域的颗粒层发送上行投射，而编码期望的锥体细胞则投射回较低区域的误差单元。这一假定的外在连接法则在 Shipp (2016) 的综述中有一些实证支持。

离散和连续状态微回路的主要区别在于，浅层锥体细胞分别编码状态期望和预测误差。这是因为在离散信念传播中，上行和下行消息分别传达后验（即由较低层级计算的期望状态）和经验先验（即由较高层级预测的状态）；而在预测编码中，它们分别传达预测误差和预测。此外，对于预测编码来说，期望结果的编码并非必需。这是因为我们已经用隐藏原因取代了策略。人们可能会问，在缺乏支撑行为的策略的情况下，预测编码如何支持认知和有目的的行为。下文所追寻的答案是，隐藏原因（连续状态模型的）由离散状态模型的富含策略的预测提供。在下一节中，这些丰富的预测将根据消息传递和显著性来考虑。

混合模型

本节考虑离散模型与连续模型的整合，以及这对神经回路中消息传递的意义。简言之，我们将看到离散结果会选择连续轨迹或动力学的一个特定模型——由其隐藏原因上的先验所指定。实际上，这种生成模型生成的是以广义运动定义的短（连续）轨迹的（离散）序列。见图8。由于状态转换是离散发生的，产生动力学的隐藏原因会周期性地切换。如果大脑使用这种模型，则表明感觉运动系统是由连续动力学的离散序列构建的（关于这一情景的近期机器学习视角，另见 Linderman et al., 2016）。一个明显的例子是一系列眼跳运动，每一次都提供视觉世界的一个样本，但每一次又都由精心打造的眼动动力学构成。事实上，这正是一个我们将在下文使用的例子，其中离散结果或隐藏原因上的先验为本体感受（眼动）推理指定了一个固定点吸引子。本质上，这使离散模型能够为视觉采样规定显著点。

就信念传播而言，图9表明下行消息包含预测结果的贝叶斯模型平均值，而来自分层模型较低连续层级的上行消息是这些结果的后验估计，且已经采样了一些连续观测。换句话说，下行消息提供了最低（连续）层级动力学上的经验先验，该层级返回相应的后验分布。这个后验分布很有趣，因为它构成了一种贝叶斯模型比较。这是因为我们将每个结果视为一个特定的动力学模型，由隐藏原因上的合理先验所定义。因此，先验上的后验分布对应于每个模型在给定手头连续数据下的后验概率。从离散模型的角度看，每个动力学模型对应于一个结果。从连续层级的角度看，每个动力学模型对应于隐藏原因上的一个特定先验。

对每个备选先验（即结果模型）的证据评估，依赖于事后模型比较的最新进展。这意味着上行消息可以直接（在拉普拉斯假设下）从隐藏原因的后验和（由下行消息提供的）先验计算得出。在图9中，这被表达为与每个结果模型或先验相关的自由能的softmax函数。在实践中，动力系统实际上是在一个短时间段内进行积分（在下面的例子中约为200毫秒）。这意味着下行消息对应于（字面意义上的）随时间推移的证据积累：

该方程将竞争性结果模型E的自由能表示为先验惊奇加上每个结果模型的对数证据（随时间积分）。对数证据是用于采样连续观测的后验和先验（高斯）概率密度以及定义每个结果模型的先验的一个相对简单的函数。详见 K. Friston and Penny (2011) 和 Hoeting et al. (1999)。请注意，如果后验期望与先验一致，其（相对）对数证据为零（见图9中的表达式）。换句话说，每个结果模型m的自由能根据贝叶斯模型平均值（对预测的离散模型取平均）来评分其“优良度”。进一步请注意，如果证据积累的持续时间缩短为零（T = 0），上行后验就退化为下行先验。

总之，使人们能够结合连续和离散（分层）模型的链接因子，对应于一个关于动力学模型的分布——并分别使用贝叶斯模型平均和比较，介导下行模型平均值向上行模型后验的转换。实际上，这赋予了相关的信念传播方案将连续数据分类为离散类别的能力，并且在此处考虑的深度时间模型的语境下，将连续的感官流分割成离散的序列表征。我们将在下文的阅读模拟中利用这种能力。然而，我们首先考虑这种分层生成模型对大脑中外在（分层）消息传递的意义。

大脑中的外在连接

图10勾勒了一个由三层离散分层模型和单个连续层级组成的架构。在这个神经网络中，我们聚焦于传递上行预测误差和关于从属状态的期望——以及下行预测（关于初始离散状态或动力学原因）的外在（区域间）连接。凭借将上行消息的来源指派给浅层锥体细胞、将下行消息的来源指派给深层锥体细胞，这种循环的外在连接符合已知的神经解剖学（Bastos et al., 2012; Felleman and Van Essen, 1991; Markov et al., 2013）。这里一个有趣的例外是较高级别（离散）下行投射的层特异性，它们起源于深层，但靶向指派给颗粒层的状态预测误差（与更传统的颗粒上层相反）。在神经解剖学上，这可能反映了短程外在连接中层特异性不那么明显这一事实（Markov et al., 2013）。另一种视角基于这样一个事实：较高级别（无颗粒）皮层区域通常缺乏明显的颗粒层（Barbas, 2007; Barrett & Simmons, 2015），这引出了无颗粒皮层可能参与分类或离散类型的信念更新的推测。

图10中由策略和动作选择所蕴含的信念传播，基于 Lahanshahi, Obeso, Rothwell, and Obeso (2015) 所描述的皮层-基底神经节-丘脑环路的解剖结构。如果人们认同这种功能解剖，信念传播的形式表明，竞争的底层（运动执行）策略在壳核中评估；中间（联想）策略在尾状核中评估；高级（边缘）策略在腹侧纹状体中评估。这些表征向编码期望（选定）策略的苍白球发送（抑制性或GABA能）投射。这些期望随后通过丘脑皮层投射传达到编码贝叶斯模型平均值的浅层。从神经生理学的角度来看，隐式平均的最佳候选者是矩阵丘脑皮层回路，它们“似乎专门用于在相对较长的时期内进行稳健的传递，这与工作记忆期间观察到的那种持续激活相一致，并可能适用于状态依赖性的兴奋性调节”（Cruikshank et al., 2012, p. 17813）。这种隐式的信念更新与灵长类动物的侵入性记录相一致，后者表明时间常数存在前后梯度（Kiebel, Daunizeau, & Friston, 2008; Murray et al., 2014）。请注意，图10中相当粗糙的架构并未包括可能在感觉运动系统较低层级区域中运作的连续（预测编码）消息传递。这意味着前额区域中的皮层丘脑连接，与具有明显（无颗粒）层状结构的主要运动皮层相比，可能存在差异。关于这些区域特异性差异的更详细讨论，见 Shipp et al. (2013)。

模型分类部分和连续部分之间关于离散结果先验和后验期望的交换被指派给皮层丘脑环路，而期望自由能的评估以及随后关于策略的期望则与皮层-基底神经节-丘脑环路相关联。这种计算解剖学的一个有趣方面是，关于下一步在世界何处采样的后验信念，是由较高级别皮层区域（例如，顶叶皮层）传递的，在那里这种显著性采样取决于皮层下投射，为下一步在哪里采样提供经验先验期望。人们可以想象这些来自上丘和/或丘脑枕，其方式与其作为显著性图的作用相一致（Robinson & Petersen, 1992; Veale, Hafed, & Yoshida, 2017）。简言之，从模型连续层级收集的感觉证据，以关于离散结果的后验期望的形式提供给较高级别。这些高级别又以经验先验作为回应，确保与世界进行恰当类型的动态互动。

显然，这里忽略了许多解剖学问题，例如直接和间接通路之间的区别（Frank, 2005）、多巴胺在调节策略精度信念中的作用（Friston, Schwartenbeck, et al., 2014）等等。然而，上述处理所建议的基本架构，说明了生成模型下信念传播的生物学合理性。这结束了我们对大脑中信念传播及其对内在和外在神经回路影响的理论处理。下一节将说明在这种架构下出现的各种行为。

精度：在一般统计学用法中，指随机变量的方差或离散度的倒数。多个变量的精度矩阵也称为浓度矩阵。它量化了关于这些变量的确定程度。

阅读模拟

本节试图通过呈现一个图画阅读的模拟，来阐明隐藏原因、状态和策略的概念。这个模拟有点抽象，但有助于说明跨嵌套时间尺度的证据积累——以及离散分类与对视觉世界的连续眼动采样的整合。此外，它突出了模型离散部分在引导连续感觉运动系统采样中的作用。我们此前已在场景构建和模拟阅读的语境中呈现了离散部分（Mirza et al., 2016）。在本文中，我们聚焦于将视觉搜索的马尔可夫决策过程模型（Mirza et al., 2016）与眼跳运动的预测编码模型（K. Friston et al., 2012）相结合，以产生一个完整的（混合）证据积累模型。

简言之，生成模型有两个离散层级。最高层级通过从六种可能性中采样来生成一个句子，其中每个句子包含四个单词。鉴于（合成的）被试当前正在看哪里，该句子因此指定了下一层级的一个单词和隐藏状态。这些隐藏状态包含可以位于视觉场四个象限中的不同字母。给定单词和当前注视的象限，字母被唯一指定。这些隐藏状态现在规定了动力学模型；即注视的吸引点和在该位置会看到的视觉输入（即图画）的内容。这些动力学仅由一个连续生成模型介导，其中注视中心被吸引到位置先验，而视觉输入由该位置的图画或字母决定。图11提供了生成模型的更详细描述。该模型的离散部分此前已用于模拟阅读。因此，我们将集中于隐式证据积累和眼跳运动显著目标位置的指定。关于离散模型的完整细节，请见 Mirza et al. (2016)。

这种生成模型的一个有趣方面是，世界或视觉场景是以可供性（affordances）来表示的；即作用于——或从——视觉场景中采样的后果。换句话说，生成模型并不拥有一个“画板”，上面定位着构成场景的物体（及其空间或度量关系）。相反，场景的度量方面是以“如果我这样做会发生什么”来建模的。例如，一个物体（如字母）位于另一个物体的右侧，是因为“如果我向右看，这就是我会看到的物体”。请注意，感觉衰减确保视觉印象只有在眼跳注视后才可用。这意味着视觉流由一系列快照组成（这些快照是在以下模拟中使用生成模型所假设的相同过程生成的）。

为了模拟阅读，图10中的方程在每个离散层级上的每个时间点使用16次迭代进行积分。在最低连续层级，每次眼跳假定大约需要256毫秒。（这大致相当于个人计算机上每次迭代所需的时间——不到一个数量级。）这是眼跳运动的大致频率，意味着模拟覆盖了几秒钟的模拟时间。

图12显示了整合图10中描述的消息传递方案所导致的行为。在这里，我们关注四个单词内部和之间的眼动（其中生成模型假设随机波动，方差为八分之一）。在此例中，被试看着第一个单词的第一个象限，看到一只鸟（bird）。然后她看向右下方，什么也没看到，通过定位右上象限的猫（cat），确认这个单词是跳蚤（flee）。被试现在相当确信句子必须是第一个或第四个句子——这两个句子在第二和第三位置有相同的单词。这使她能够快速扫描随后的两个单词（用单次眼跳解决任何残留的不确定性），并聚焦于最后一个单词，以在两个合理句子之间消歧。在这里，她在第二次眼跳中发现了种子（seeds），而对角线外的象限为空。此时，关于句子的残留不确定性得到解决，被试推断出正确的句子。

单次眼跳期间证据积累的一个示例见图13。在此例中，被试从中央注视点看向左上象限，看到一只猫。伴随的动作显示为左中面板中的模拟眼电图，在水平和垂直方向上具有平衡的运动。相应的视觉输入显示为四个连续时间点（即每五个时间步，其中连续积分方案的25个时间步各大致对应于10毫秒）。请注意，随着注视中心接近目标位置（由模型离散部分的经验先验指定），亮度对比度增加。这实现了一种简单的感觉衰减形式。换句话说，它排除了眼动期间的精确视觉信息，使得高对比度信息仅在注视期间可用。在这里，感觉衰减是通过将视觉对比度作为目标与当前注视中心之间距离的高斯函数进行调制来实现的（见图11）。这是一种相当粗糙的感觉衰减建模方式；然而，它与我们在眼跳期间不会体验到光流这一事实相一致。

图13的下方面板显示了连续眼跳采样期间证据积累的情况，以四种备选视觉（什么）结果（左下）和四种本体感受（哪里）结果（右下）下的后验概率表示。在此例中，隐式模型比较得出结论，猫位于第一象限。请注意，目标位置的后验概率从眼跳开始就是确定的（凭借来自上层的精确经验先验）。相比之下，关于视觉内容的不精确（经验先验）信念需要更多时间才能转化为精确的（后验）信念，因为位置先验是通过动作实现的。这是多模态感觉整合和证据积累的一个很好的例子。即，关于世界在哪里（where）状态的精确信念被用来解决关于什么（what）方面的不确定性，这种方式直接说明了支撑显著性的认知可供性。

分类与证据积累

图14显示了分层模型离散层级上支撑证据连续积累的模拟神经元反应（参见 Huk & Shadlen, 2005）。对这些结果的神经生理学解释诉诸于方程6，其中期望由主细胞的放电率编码，而跨膜电位的波动由预测误差驱动。关于底层信念传播如何转化为神经生理学的更详细讨论，可见于 K. Friston, FitzGerald, et al. (2017)。

在这些模拟所使用的调度下，较高级别的期望会等待较低级别的更新终止，反过来，较低级别的更新会暂停，直到较高级别的信念更新完成。这意味着期望在较高级别得以维持，而较低级别则通过一两次眼跳收集信息。上方两个面板显示了编码句子（上方面板）和单词（第二面板）的隐藏状态期望的（贝叶斯模型）平均值。下方两个面板分别显示了模拟的电生理和行为反应（复制自图12）。这里需要注意的关键点是，两个层级上的不确定性都在逐步解决——且发生在不同的时间尺度上。关于单词的后验期望随着每一次连续的视觉采样而快速波动，当被试对正在采样的内容足够自信时终止。随后，后验期望在较慢的时间尺度上被最高层级同化，以解决关于当前句子的不确定性。在这里，被试在最后一个单词的最后一次眼跳中正确推断出，是第一个句子生成了这些刺激。这些图像或光栅图可以理解为编码贝叶斯模型平均值的浅层锥体群体的放电率（见图10）。由此产生的放电模式与前额叶皮层中眼跳前延迟期活动显著相似（Funahashi, 2014）。相应的（模拟）局部场电位显示在光栅图下方。

这些只是放电率的带通滤波（4至32赫兹之间）版本，可以按照去极化来解读。快速且频繁的（红色）诱发反应对应于第一层级的贝叶斯模型平均值（涉及三种可能的单词），而穿插其间且频率较低的瞬变（蓝色）对应于最高层级（涉及六个以上句子）的更新。由此产生的局部场电位或事件相关电位序列，再次看起来与主动视觉期间下颞叶皮层的经验反应惊人地相似（Purpura, Kalik, & Schiff, 2003）。尽管这里没有展开，人们可以对这些反应进行时频分析，以揭示有趣的现象，例如θ-γ耦合（由眼跳内快速更新所蕴含，每250毫秒在眼跳之间重复）。总之，图10所示这类计算架构所规定的信念传播，导致了一种消息传递调度，其在单元活动和事件相关电位方面都与经验性的眼跳周围神经元反应相似。

总结

在上一节中，我们强调了基于深度时间模型的信念传播的生物学合理性。在本节中，通过再现电生理现象（如眼跳周围延迟期放电活动和局部场电位），这种生物学合理性得到了进一步证实。此外，这些模拟在阅读过程中的眼跳运动方面具有很高的表面效度（Rayner, 1978, 2009）。

我们基于信念传播和生成模型的图形表示，推导出了一种大脑的计算架构。这种功能整合的表述既提供了一种规范理论，也提供了一种过程理论。它之所以是规范的，是因为存在一个明确定义的目标函数；即变分自由能。通过将神经元动力学表述为对惊奇或（负）贝叶斯模型证据的这一替代指标的梯度下降，可以很容易地推导出相应的过程理论。由此产生的架构和（神经元）消息传递在多个层面上提供了通用性。这些包括基于分类状态和连续变量混合的深度生成模型，这些模型生成序列和动力学。从算法的角度来看，我们聚焦于使分类表征能够与连续量（如位置和亮度对比度）表征进行对话的链接函数或因子。人们可能会问，这一切如何帮助我们理解大脑中动态连接的本质。显然，从本文所描述的那种过程理论中，可以得出大量解剖学和生理学预测；这些预测范围从大脑皮层区域的宏观分层组织，到经典微回路的细节（例如，Adams et al., 2013; Bastos et al., 2012; Friston, 2008; Mumford, 1992; Shipp, 2016）。在这里，我们将聚焦于两个主题：第一，对皮层微回路内连接动力学的意义；第二，从自组织临界性的角度对全局动力学进行更抽象的考量。

内在连接动力学

连续和离散信念传播的更新方程都直接涉及神经元耦合的状态或活动依赖性变化。有趣的是，两者都强调了颗粒上层中浅层锥体细胞连接的状态依赖性变化的重要性。这一结论基于以下观察。

在连续状态的信念传播中，人们可以识别出介导编码隐藏原因期望的群体对预测误差单元影响的连接，反之亦然。这些对应于图7中的连接（d）和（6）。

在生物学上，这些涉及下行外在连接以及颗粒上层内部的内在连接。这些连接带来了两种情境敏感性。第一种源于生成模型中隐含函数的非线性。第二种基于赋予预测误差的精度或增益。非线性意味着预测误差（由浅层锥体细胞编码）的敏感性取决于其介导自上而下预测的突触前输入，从而使耦合具有活动依赖性。由于精度引起的耦合变化本文尚未讨论；然而，有大量文献将精度的优化与感觉衰减和注意力联系起来（Auksztulewicz & Friston, 2015; Bauer, Stenner, Friston, & Dolan, 2014; Brown, Adams, Parees, Edwards, & Friston, 2013; Kanai, Komura, Shipp, & Friston, 2015; Pinotsis et al., 2014）；即，一种精度工程化的预测误差单元（即浅层锥体细胞）增益控制。这种增益控制的介导是一个迷人的领域，可能涉及经典的神经调质系统或群体动力学以及同步增益的调制（Aertsen et al., 1989）。这种（群体动力学）机制在理解注意力方面可能特别重要，即通过相干性进行沟通（Akam & Kullman, 2012; Fries, 2005），以及抑制性中间神经元在介导同步增益控制中的重要作用（Kann, Papageorgiou, & Draguhn, 2014; Lee, Whittington, & Kopell, 2013; Sohal, Zhang, Yizhar, & Deisseroth, 2009）。简言之，导致动态连接的许多有趣的情境敏感性都可以定位到浅层锥体细胞的兴奋性上。当我们考虑分类状态的更新方程时，也得出了完全相同的结论。

图2表明，内在（皮层）连接的关键调制是由策略期望介导的。这些期望在状态估计期间实现了（对策略特定状态估计的）贝叶斯模型平均。在生理学上，这意味着策略特定状态（在此指派给颗粒上层中间神经元）与贝叶斯模型平均值（在此指派给浅层锥体细胞）之间的耦合是动态连接的一个关键位点。这表明浅层锥体细胞兴奋性的波动是所提出的离散过程理论下信念传播的一个标志。

从实证研究的角度来看，这些结论可能很重要。例如，它表明针对条件特异性、情境敏感的有效连接的动态因果建模应聚焦于内在连接；特别是涉及浅层锥体细胞的连接，这些细胞是大脑中前向外在（区域间）连接的来源（例如，Auksztulewicz & Friston, 2015; Brown & Friston, 2012; Fogelston, Litvak, Peled, Fernandez-del-Olmo, & Friston, 2014; Pinotsis et al., 2014）。事实上，几项大规模神经元模拟都说明了内在兴奋性（或兴奋-抑制平衡）在为皮层相互作用定调——并对其进行调制——方面的潜在重要性（Gilson, Moreno-Bote, Ponce-Alvarez, Ritter, & Deco, 2016; Roy et al., 2014）。

显然，从神经生理学和药理学角度来看，关注内在兴奋性很重要。这是因为浅层锥体细胞的突触后增益或兴奋性取决于许多神经调质机制。这些包括同步增益（Chawla, Lumer, & Friston, 1999），它被认为是由与抑制性中间神经元的相互作用介导的，而这些中间神经元本身富含电压敏感性NMDA受体（Lee et al., 2013; Sohal et al., 2009）。这些机制不仅与注意力调制之类的事情密切相关（Fries, Reynolds, Rorie, & Desimone, 2001），它们也是大多数精神药物和（内源性）上行调制性神经递质系统的靶点（Dayan, 2012）。这种由计算考量所提供的研究焦点，涉及微回路和神经调质的一个特定方面。关于全脑动力学，我们能说些什么吗？

自我证明与自组织临界性

将神经元动力学视为确定性信念传播，似乎可能排除了诉诸动力系统理论的描述（Baker et al., 2014; Breakspear, 2004）；特别是诸如亚稳态、遍历性和自组织临界性等概念（Bak, Tang, & Wiesenfeld, 1987; Breakspear, 2004; Breakspear & Stam, 2005; Deco & Jirsa, 2012; Jirsa, Friedrich, Haken, & Kelso, 1994; Kelso, 1995; Kitzbichler, Smith, Christensen, & Bullmore, 2009; Shin & Kim, 2006; Tsuda & Fujii, 2004）。然而，这些现象与信念传播所体现的过程理论之间存在着深刻的联系。这取决于就编码期望状态的神经元活动而言的变分自由能最小化。例如，根据方程8，我们有以下内容：

这意味着自由能可以用能量加上对数特征值或李雅普诺夫指数来表示。这里引人注目的是，因为信念传播试图最小化变分自由能，它也在试图最小化表征动力学的李雅普诺夫指数。换句话说，信念传播将自身组织向临界慢化。这一表述暗示了一些相当有趣的事情。自组织临界性和不稳定动力学是信念传播的必要且涌现的特性。简言之，如果人们认同自由能原理，那么自组织临界性就是所有自组织系统都必须遵守的底层律令的一个副现象；即，最小化自由能或最大化贝叶斯模型证据。从主动推理的角度来看，这意味着自我证明（Hohwy, 2016），它蕴含着自组织临界性（Bak et al., 1987）和动态连接（Allen et al., 2012; Breakspear, 2004）。在这种观点下，挑战在于归因出最能解释大脑功能整合的分层生成模型——及其消息传递方案。关于这种对自组织临界性的解释在有效连接和神经影像学语境下的更充分讨论，请见 K. J. Friston, Kahan, Razi, Stephan, and Sporns (2014)。

原文链接：https://direct.mit.edu/netn/article/1/4/381/5401/The-graphical-brain-Belief-propagation-and-active?utm_source=researchgate.net&utm_medium=article