脑网络因果推断的图神经网络框架

A Graph Neural Network Framework forCausal Inference in Brain Networks

脑网络因果推断的图神经网络框架

https://arxiv.org/pdf/2010.07143v1

摘要

神经科学中的一个核心问题是，大脑中自组织的动态相互作用如何在它们相对静止的结构骨干上涌现。由于不同脑区之间空间和时间依赖性的复杂性，充分理解结构与功能之间的相互作用仍然具有挑战性，并且是一个激烈研究的领域。在本文中，我们提出了一个图神经网络（GNN）框架，用于基于结构解剖布局来描述功能相互作用。GNN使我们能够处理图结构的时空信号，提供了将源自弥散张量成像（DTI）的结构信息与时间神经活动剖面（如功能磁共振成像（fMRI）中观察到的）相结合的可能性。此外，这种数据驱动方法学习到的不同脑区之间的动态相互作用，可以提供因果连接强度的多模态测量。我们通过评估所提出模型复现经验观察到的神经激活剖面的能力来评估其准确性，并将其性能与向量自回归（VAR）（如格兰杰因果关系中通常使用的）进行比较。我们表明，GNN能够捕捉数据中的长期依赖性，并且在计算上可扩展到大规模网络的分析。最后，我们通过证明在小型数据集上的性能可以通过在来自早期不同研究的数据上预训练GNN来提高，从而确认GNN学习到的特征可以跨MRI扫描仪类型和采集协议泛化。我们得出结论，所提出的多模态GNN框架可以为大脑中的结构-功能关系提供新颖的视角。因此，这种方法对于表征脑网络中的信息流可能很有前景。

关键词：脑连接、因果关系、机器学习、图神经网络、结构-功能关系

1 引言

脑连接有不同的类型，要么基于结构解剖布局（如弥散张量成像（DTI）所导出的），要么基于时间分辨的活动模式（如功能磁共振成像（fMRI）中所观察到的）[58]。从DTI重建的白质纤维束为结构连接（SC）提供了基础，并可用于量化脑区之间（静态的）解剖连接强度。另一方面，fMRI使我们能够绘制出大脑中动态的神经活动分布，而波动的相干性通常被称为功能连接（FC）。直觉上，人们可能会遵循“结构决定功能”的范式，但已有研究表明，大脑结构与功能之间的关系相当复杂，并且仍然是激烈研究的焦点[26, 46, 68, 2, 14]。例如，具有稳健SC的脑区通常也表现出高FC，但反之则不一定成立[48]。虽然FC是一种统计测量，不包含关于关系方向性的信息，但有效连接和有向功能连接测量试图推断功能成像数据中的因果依赖性[36]。因此，源自不同模态的连接测量可以提供脑连接的不同但互补的方面[5, 100, 22]。尽管如此，研究它们之间的关系仍然具有挑战性，主要是由于复杂的时空依赖性和长期预测的固有困难。

在本文中，我们提出了一种数据驱动模型，该模型结合了来自fMRI和DTI的信息，以推断脑区之间的因果依赖性。由空间解剖布局互连的神经元群的时间活动模式，可以解释为时变图结构信号。对于此类应用，图神经网络（GNN）已被证明是有用的，它提供了在人工神经网络（ANN）框架内处理具有图状属性数据的可能性[98]。受其在计算机视觉中成功的启发[38, 59]，卷积操作最近被扩展到图领域[18, 27]。在ANN中学习此类卷积滤波器，使我们能够捕捉图的非欧几里得几何中固有的空间依赖性，在我们的语境中，这些依赖性被用于基于脑网络的结构解剖连接来整合其空间关系。此外，动态系统中的时间依赖性可以通过循环神经网络（RNN）来获取，RNN已被证明非常适合处理具有序列结构的数据。在我们的研究中，RNN学习大脑动力学的时间特征，就像在静息态fMRI中观察到的那样。一种特定类型的GNN架构，称为扩散卷积循环神经网络（DCRNN）[61]，提供了整合图结构信号的时空信息的可能性。通过将fMRI与DTI数据相结合，其想法是更准确地复现大脑动力学，以更好地理解脑区之间的功能相互作用，这些相互作用受到其结构骨干的物理约束[25]。

脑区之间的因果关系可以通过有向功能连接和有效连接来揭示。因此，近年来已经建立了两种突出且不同的方法[36]。第一种基于英国计量经济学家克莱夫·格兰杰（Clive Granger）提出的一个简单想法[43]。如果一个事件A导致另一个事件B，那么A应该先于B，并且关于A发生的信息应该有助于预测事件B的发生。多变量过程之间的这种时间依赖性通常在多变量向量自回归（VAR）模型的框架中描述，为格兰杰因果关系（GC）奠定了基础。通过尝试对时间神经剖面进行准确预测，GC测试添加关于脑区B中神经活动的信息是否有助于改善对区域A活动的预测（反之亦然）。这为分离的脑区之间的有向因果依赖性提供了一种探索性测量。

第二种流行的方法在方法论上有所不同：动态因果建模（DCM）依赖于神经元群的机制性输入-状态-输出模型，描述脑区之间的有效连接强度[37]。实验条件和刺激被编码在输入函数中，模型输出可以与经验观察到的电磁或血流动力学反应相关联。在贝叶斯框架中，估计神经群体的有效耦合，为大脑不同区域之间的因果关系提供了神经生理学视角。然而，由于其相对较高的计算复杂性，DCM分析通常仅限于大脑中少数预定义的区域，这可能会忽略分析的相关组成部分[24]。

在这里，我们提出了一种数据驱动的机器学习方法，它在脑动力学的预测框架中结合了神经元群的结构和功能信息。通过研究DCRNN模型从DTI和fMRI数据中学习到的脑区之间的时空依赖性，我们推断出大脑中分离区域之间的信息流。这为我们提供了关于脑网络内因果关系的多模态数据驱动视角。我们将典型VAR模型的预测能力与DCRNN模型进行比较，并表明这种机器学习方法能够成功解释数据中的长期和非线性关系。我们得出结论，受图信号处理启发的此类数据驱动方法可能是建模脑动力学的有前景的候选者，首先是因为它们在复现经验观察数据方面具有更高的准确性。此外，由于在该模型中神经相互作用受到其解剖基质的约束，因此产生了更高的神经生理学合理性。与经典的DCM相比，DCRNN还通过在图结构上学习局部滤波器[27]，自然地扩展到大型网络，这为全脑网络的探索性分析开辟了可能性。

通常，为了获得良好性能，更复杂的机器学习模型需要更大量的数据，但在MRI中进行非常大样本量的研究并不经济。为了解决这些问题，我们证明在我们的语境中，迁移学习[70]也可以增强小数据集的模型准确性。我们在由人类连接组计划（HCP）[93]提供的大型100个静息态fMRI（rs-fMRI）会话数据集上预训练DCRNN。然后我们表明，与标准训练相比，预训练模型显著提高了在较小的10个会话独立数据集上的预测性能。这表明DCRNN在一定程度上具有跨扫描仪类型和采集协议泛化的能力，从而使迁移学习成为可能。

最后，解剖和功能神经影像数据的整合框架有助于更好地理解大脑结构与功能之间的一般关系。通过建模解剖基质上的局部相互作用，这种方法使我们能够重建结构连接的脑区中活动分布的信息量。虽然许多当前方法仅关注从脑区的SC预测其活动的一致性模式（FC）[11, 84, 66, 62, 28]，但我们提出了一个直接复现观察到的神经活动剖面的框架，从而依赖于来自SC的信息。

2 结果

2.1 模型描述。

DCRNN的编码器和解码器均由门控循环单元[23]组成，并用图卷积[27]进行了修改，训练模型时应用了计划采样[13]。模型架构的详细描述见第4节。

2.2 数据描述

2.3 模型性能。

第一步，我们评估DCRNN模型学习神经元群中时间活动模式及其跨空间布局关系的能力。作为第一个基线，我们将DCRNN与线性向量自回归（VAR）模型[43]的性能进行比较，后者在第4.2节中进一步描述。估计脑网络中不同感兴趣区域（ROI）之间因果关系的一种常见方法，是将多变量VAR模型拟合到神经时间活动模式，就像在不同神经影像模态中观察到的那样[36, 10, 75]。评估拟合后的VAR使我们能够推断，一个空间脑区是否包含关于其他区域未来活动剖面的额外信息，从而表明它们之间存在因果依赖性。复现经验观察到的神经活动剖面的准确性，可以表明一个模型对神经动力学潜在过程（包括脑区之间的相互作用和依赖性）的学习程度。在此比较中，我们纳入了两种不同的优化方法来估计VAR系数。第一种采用普通最小二乘法（OLS）拟合来自单个rs-fMRI会话的神经活动时间序列 x ( t ) [45]。第二种方法，类似于DCRNN，遵循基于梯度下降的优化[54]，作用于第2.2节中描述的窗口化神经活动样本。对于此评估，我们依赖后者，因为它可以改善VAR的性能，如第4.2节所述。

两种方法预测准确性的代表性示例显示在图2中，以及它们在完整测试数据集上的平均性能。图2（A）表明，线性VAR模型在少数情况下也能生成正确的长期预测，但大多数情况下在10个TR（约7秒）后，误差开始累积，预测变得不那么准确。DCRNN的预测（图2（B））在长得多的预测范围内保持稳定，其平均绝对误差 M A E = 0.0279 显著低于VAR的 M A E = 0.1786 。

为了进一步验证预测准确性的差异，在补充材料I中提供了使用0.02 – 0.09 Hz范围内更宽松频率滤波的等效评估。此外，在补充材料II中，我们评估了采用体积AAL分区[91]并执行另一种解剖连接重建方法[12]的不同方法。

2.4 空间建模的影响。

对于DCRNN模型的这一应用，解剖连接被用来表征脑网络中节点之间的空间关系，塑造脑区之间活动的转换。为了说明DCRNN确实学习到了不同ROI之间的相关空间相互作用，我们在不使用图（扩散）卷积层的情况下评估了这个循环神经网络模型。这种限制仅考虑结构图上节点的自耦合（ K = 0 阶滤波器）。图3（A）显示了测试MAE与所纳入游走阶数 K K的关系。每个epoch的计算时间随所包含转移阶数 K K的增加情况如图（B）所示。图3（C）展示了无图卷积的序列到序列模型（ K = 0 ）与包含高达 K = 3 阶空间转移的模型之间预测MAE的更详细比较。

2.5 因果连接。

本节的目标是研究DCRNN从神经影像数据中学习到的不同ROI之间信息传递的原理。如前一节2.4所示，在解剖网络上传播信息可以改善对BOLD信号时间演化的预测，显示出结构连接的脑区之间的依赖性。现在，为了推导因果连接强度的度量，遵循格兰杰[43]的思想，目标是重建ROI A中的活动信息如何对ROI B活动的预测做出贡献。当ANN模型变得更加复杂时，通过直接查看学习到的参数来揭示数据中的关系通常具有挑战性。用于解决这个问题的一种简单策略是在模型输入空间中引入扰动，然后观察这些扰动如何传播到模型输出[101, 73]。

该分析的结果表明，PIVC与外侧裂、外侧裂周围皮层和岛叶表现出强烈的因果连接。在人类受试者中使用弥散加权成像[97, 49]和静息态功能连接[34]，以及在非人灵长类动物中使用示踪技术[94]，也观察到了类似的连接模式。前庭皮层的几个独立区域位于这个外侧裂网络内，包括后岛叶皮层区域（PIC），这是一个对视觉和前庭线索整合至关重要的区域（对于人类受试者：[31, 33]；对于非人灵长类动物，该区域被称为VPS：[94, 21]）。这个外侧裂网络内的信息流尚未被完全理解。当前理论假设，关于自我运动的前庭和视觉线索在PIVC和PIC内结合，然后进一步处理到颞顶联合区（TPJ），这是一个位于颞叶和顶叶皮层交界处的大型皮层区域，视觉-前庭信号在这里被整合为空间中的自我表征[32]。当前分析的结果通过显示与缘上回的因果关系支持了这一观点，缘上回是TPJ的一部分。还观察到了PIVC与视觉皮层之间的进一步功能连接。这一结果很有趣，因为几项研究已表明视觉系统与PIVC之间存在抑制性相互作用[95, 16, 35, 34]，例如当视觉线索被注意力处理时，PIVC会受到抑制，反之亦然。这些抑制性相互作用的幅度被假定由位于视觉和顶叶皮层中的注意力网络调节（见[34]）。

2.6 模型泛化。

一个常见问题是数据的充足性，以便充分训练并利用具有大参数空间的机器学习模型。特别是在MRI研究中，获取如此大的数据集通常既耗时又昂贵。为了解决这一局限性，机器学习中提出了迁移学习的概念[70]。迁移学习背后的基本思想是，如果只有少量数据可用于学习某项任务，人们可以在类似任务的大规模数据集上预训练模型。在下一步中，在大数据库上学习到的特征表征可以用作学习所需目标任务初始化的起点。目标是通过重用预训练模型的权重，将知识从一个源领域迁移到目标领域。如果源领域的特征表征足够多样化，与没有任何先验知识开始训练（例如依赖模型权重的随机初始化）相比，这可以提高模型性能[70]。

为了研究迁移学习是否也适用于我们的应用，我们研究了DCRNN在不同数据集之间泛化的能力。因此，我们使用HCP[93]提供的数据预训练DCRNN，如第4.3.1节所述。该模型在总共100个静息态fMRI会话上预训练了70个epoch，包括从DTI重建的解剖连接。接下来，我们使用了在雷根斯堡大学（UR）使用西门子Magnetom Prisma 3T收集的数据集，包括10个静息态fMRI会话和相应的结构成像数据。该数据集的采集参数在第4.3.2节中有更详细的概述。我们对在HCP数据上预训练的DCRNN进行微调，在UR数据集上再训练70个epoch，并以较低的学习率0.001初始化第二次训练。将这个预训练模型与仅在UR数据集上训练、权重参数使用Xavier/Glorot初始化[42]随机初始化的DCRNN进行比较。

依赖标准训练与利用迁移学习之间的比较如图5所示。图5（A）显示了权重随机初始化（红色）时学习过程中的训练和验证误差。该模型仅在UR数据集上总共训练了140个epoch。蓝色描绘了首先在HCP数据集上预训练70个epoch，随后在UR数据集上微调70个epoch的模型的训练和验证误差。图5（A）表明，开始时UR数据上的训练误差相对较高，但随着预训练模型适应新数据集，MAE变得显著小于没有预训练的情况。图5（B）显示了测试MAE与预测范围的关系。通过纳入迁移学习，平均测试误差可以从0.0388降低27%至0.0284。因此，在包含10个会话、时长7.3分钟的小型UR数据集上的模型性能，变得与在包含100个会话、时长14.4分钟的大型HCP数据集上的性能相当，后者的 M A E = 0.0279 。

3 讨论

我们介绍了一个用于推断脑网络中因果关系的多模态框架，它基于图神经网络架构，统一了通过DTI和fMRI观察到的结构和功能信息。首先，该模型为神经科学中的一个基本问题提供了数据驱动的视角：大脑的功能如何与其结构相关联。此外，通过在结构解剖基质上建模动态相互作用，该框架解释了分离脑区之间的非线性时空依赖性，使我们能够重建因果影响强度的多模态测量。

首先，我们通过研究DCRNN复现经验观察到的神经活动模式的能力来评估其性能，并将其与通常用于脑格兰杰因果关系分析的VAR模型进行了比较[43, 75]。我们表明，DCRNN还能捕捉fMRI数据中的时间长期依赖性，使其能够在0.04 – 0.07 Hz频率范围内做出长达30个TR（约20秒）的准确预测，与线性VAR相比，这可以显著降低整体测试MAE。请注意，2.3节的结果表明，尽管VAR很简单，但它可以在前10个TR内做出相当可靠的预测。其线性特性也允许对不同时间序列之间的因果关系进行各种统计推断，使其成为估计格兰杰因果连接的一种实用且快速的工具[10]。但未来考虑神经影像数据中的非线性和长期关系可能会引起兴趣，以便更完整地了解大脑区域之间的功能相互作用。DCRNN准确性的提高表明，它更好地学习了脑动力学的固有特征，因此可能比简单的线性模型更适合表征因果关系。我们还通过在补充材料I中采用截止频率为0.02 – 0.09 Hz的更宽松带通滤波器验证了结果。通过包含更多频率成分，BOLD信号变得更加复杂，因此更难预测。同样的分析也已在补充材料II中依赖体积脑图谱[91]并使用替代的纤维束追踪方法重建结构连接进行。在所有情况下，VAR和DCRNN在预测性能上的差异都很明显，尤其是在较大的预测范围上。此外，DCRNN不需要时间序列数据的平稳性，因此避免了为实现平稳性而可能造成失真的预处理步骤。提高脑区之间估计因果关系合理性的另一个方面是将结构信息整合到图神经网络模型中。由于神经信号的传播受到白质连接布局的物理约束，通过图卷积沿解剖连接区域传播信息与关于大脑解剖的先验知识是一致的。

结果表明，通过解剖连接传播信息提高了模型准确性，指向了不同脑区之间的功能依赖性。本着可解释人工智能（XAI）的精神，我们提出了一种方法来重建DCRNN从第2.5节数据中学习到的此类依赖性。在模型输入空间中引入扰动，使我们能够研究特定区域的活动如何影响其他区域。这种影响将量化特定ROI中时间信息对预测其他ROI活动的重要性。遵循格兰杰因果关系的哲学，这表明ROI之间存在因果依赖性，从而提供了彼此之间定向影响的度量。这种关系被称为有向功能连接或因果连接，因为此类信息论度量依赖于因果机制，但不一定与它们相同[76, 17]，这将其与用于有效脑连接的显式基于模型的方法（如DCM）区分开来[36]。对于我们的方法，我们使用了更一般的因果连接概念，因为我们不仅纳入了功能数据，还纳入了结构信息来描述不同区域之间的此类因果依赖性。为了展示我们所提出方法的应用，我们评估了PIVC对其他脑区的影响。这可能揭示PIVC与外侧裂、外侧裂周围皮层和岛叶中的脑区，以及与视觉皮层的因果关系。

在最后一步，我们提出了一种提高较小数据集上模型性能的方法。我们证明了迁移学习[70]的概念在我们的语境中也适用于检测fMRI时间序列和结构连接数据中的内在模式。从HCP存储库[93]数据中学习到的特征可以很好地迁移到使用西门子Magnetom Prisma 3T采集的较小数据集。这使得在包含10个会话（每个持续时间7.3分钟）的小型数据集上，能够获得与包含100个会话（每个持续时间14.4分钟）的大型数据集几乎一样好的准确性。在我们研究中，两个fMRI数据集的采集和预处理协议相对可比，因此在其他情况下，如果数据时间分辨率差异较大，可能需要对一个数据集进行降采样，以便更好地学习可迁移的特征表征。

请注意，通过将结构信息整合到模型中，该模型学习到的功能相互作用也取决于预定义的解剖布局。因此，DTI数据的质量对结果也至关重要，但众所周知，DTI在准确重建长程白质纤维束方面存在问题[87]。此外，fMRI在研究神经相互作用方面也有其局限性，因为采样率显著低于 underlying 神经反应，并且神经活动仅基于观察到的血流动力学反应间接测量[75]。因此，对结果的解释应考虑该模型中所用神经影像数据的信息内容。

总之，我们认为GNN架构可以提供一种有趣的新方法来结合在fMRI和DTI数据中观察到的复杂非线性时间和空间模式。目前，GNN在基于脑连接网络的MRI分类任务中已经显示出非常有前景的应用[57, 9, 60, 55]。在我们的研究中，我们表明它们也适用于在结构网络上分析动态功能相互作用时，表征分离脑区的非欧几里得空间关系。除了研究因果关系外，这种数据驱动的脑动力学方法也可能对其他应用感兴趣。虽然许多当前处理人脑结构-功能关系的方法侧重于从SC推断整体功能一致性模式[11, 84, 66, 68, 62, 28]，但该框架允许我们将时间分辨的活动剖面直接与其解剖基质相关联。此外，这种全脑模型可能对临床应用有用，通过研究患病大脑中的动力学或建模结构性病变的影响[71, 4]。对于未来的研究，将这种多模态GNN模型应用于其他功能神经影像模态，如脑电图（EEG）或脑磁图（MEG）获得的模态，以更高的时间分辨率研究脑动力学，也可能很有趣。

4 方法

4.1 DCRNN。

在神经影像学的语境中，神经活动模式可以被解释为图结构的时空信号分布。该图中的节点代表人脑中的ROI，而边反映了解剖神经元网络中这些ROI之间的连接强度，这构成了信息流动的结构支架。这种连接强度由DTI测量确定的轴突连接强度给出。此类网络上的活动动力学可以通过图上的随机游走来建模，其中调用扩散卷积操作来捕捉空间依赖性[61, 27]。扩散卷积循环神经网络（DCRNN）旨在整合扩散卷积、序列到序列架构和计划采样技术[61]。该模型在当前研究中的应用如下文详细描述。

4.2 自回归模型

4.3 数据集。

4.3.1 HCP数据。

原文链接：https://arxiv.org/pdf/2010.07143v1