神经结构推理器：让知识图谱“长进神经网络”的类脑黑科技

结构化推理正在成为人工智能的下一道深水区，知识图谱提供了实体与关系的离散世界，大模型提供了语言与语义的连续空间，但当系统需要真正理解“关系结构”时，传统方法往往显得力不从心。

向量空间可以编码实体，却难以保留关系的拓扑；黑箱网络可以拟合模式，却无法解释推理的路径；符号规则可以表达逻辑，却难以在大规模数据中保持鲁棒性。结构化推理的核心矛盾在于系统既要理解关系的组合性，又要保持推理过程的可解释性，同时还要具备足够的计算效率。

神经结构推理器的提出，正是在这样的背景下显得格外有意义。它不是对现有方法的简单补丁，而是试图回到智能的源头，从大脑的结构化认知机制中寻找新的计算架构。

这项研究的三位成员——Zixing Jia、Yuhang Pan、Ni Ji，他们来自北京脑科学研究院体系（ 包括中国医学科学院与北京协和医学院共建的脑科学研究院、中国脑科学研究院，以及北京脑科学与脑机接口重点实验室）与中山大学，他们的跨学科背景让这项研究既有神经科学的底色，也有人工智能的工程视角。神经结构推理器的核心思想是让关系结构直接长在网络连接里，让推理过程由网络动力学自然涌现，而不是依赖向量空间或符号规则。这种设计理念既大胆又克制，既有类脑计算的灵感，也有知识图谱推理的现实需求。

01 人类大脑的启发：结构化知识如何在神经系统中形成

结构化推理在大脑中并不是孤立发生的，它依赖多个脑区的协同工作。海马与内嗅皮层构建认知地图，这种地图不仅用于空间导航，也用于抽象关系的组织。

前额叶负责关系抽象与多步推理，它能够在不同情境中提取稳定的关系模式。内嗅皮层的路径整合机制则提供了状态更新的动力学基础，使得大脑可以在连续的输入中保持对当前位置或当前关系状态的估计。

研究将这些神经机制抽象为三条核心启发。第一是层级结构，大脑在处理知识时往往采用多层级的组织方式，从实体到关系再到关系链，形成结构化的认知框架。第二是稳定表征，实体与概念在大脑中具有稳定的神经表征，这种稳定性是推理的基础。第三是路径整合式推理，大脑通过累积输入驱动状态更新，这种动力学机制可以自然地支持多步推理。

这些启发并不是简单的类比，而是被直接映射到神经结构推理器的架构设计中。模型的四层结构、神经元之间的耦合方式、推理过程中的状态更新，都可以在大脑的结构化认知机制中找到对应的影子。

02 神经结构推理器的总体设计理念

神经结构推理器的设计理念可以用一句话概括，让关系结构直接长在网络连接里，让推理过程由网络动力学自然涌现。传统知识图谱方法通常将实体与关系压缩为向量，推理过程依赖向量运算或黑箱网络，结构信息在压缩过程中被弱化。神经结构推理器选择了一条完全不同的道路，它让实体、关系、关系链都以神经元的形式显式存在，让它们之间的连接直接对应知识图谱中的结构。

图1：神经结构推理器架构。（a）NSR的四个核心层：LE编码实体；LZ实例化关系驱动的状态转换；LR和LC编码关系及其组成（例如链）。黑色的连接是先验固定的，绿色的连接编码观察到的三元组，橙色的连接通过Hebbian更新来学习，以捕捉潜在的关系结构。（b）对（h，r，？）进行一步推理的神经元激活序列7→ t.

这种设计理念的关键在于推理不再是矩阵运算，而是神经元激活序列。模型的动力学更新由研究的公式给出：

这条公式在研究中贯穿四层结构，它描述了神经元在每一步的状态更新方式。实体层、关系层、关系推理层与关系组合层都遵循这一动力学，只是连接结构与门控机制不同。推理过程因此不再是黑箱，而是可以逐层观察的激活轨迹。

神经结构推理器的另一个重要理念是双向耦合。实体层与关系推理层之间的连接是固定的，关系层与关系组合层之间的连接则通过 Hebbian 学习逐渐形成。这种结构让模型既能保持稳定的实体表征，又能在关系结构中发现潜在的组合规律。

整体来看，神经结构推理器是一种介于符号推理与深度学习之间的架构。它保留了神经网络的连续动力学，也保留了知识图谱的离散结构，同时具备可解释性与组合性。这种设计理念让它在结构化推理任务中呈现出独特的优势，也为未来的类脑推理系统提供了新的方向。

03 四层架构：从实体到关系链的神经结构化表达

神经结构推理器的结构设计，是这项研究最具“类脑味”的部分。它并没有把知识图谱压缩成向量空间，而是把实体、关系、关系链直接变成神经元，把它们之间的连接变成知识图谱的拓扑。结构化知识不再是隐含的，而是以网络结构的形式显式存在。

实体层承担着稳定实体表征的角色。每个实体都对应一个固定的神经元，它们与关系推理层中的对应节点保持双向耦合。这种耦合在研究中以固定权重的形式呈现，研究团队给出的公式是：

这条连接在模型初始化时就被写入网络，意味着实体的身份是稳定的，不会在训练过程中被破坏。实体层的存在让模型具备了类似大脑“概念稳定性”的能力。

关系层则承担着更复杂的任务，它不仅编码关系本身，还编码每个关系的逆关系。研究将关系与逆关系放在同一层中，以对称结构呈现，这种设计让模型天然具备双向推理能力。例如 father_of 与 son_of 会在训练过程中形成耦合，使得模型能够从父亲推到孩子，也能从孩子推回父亲。

关系推理层是整个架构的动力学核心，它负责实现实体与关系的绑定。每个绑定神经元代表一个“实体—关系”对，它们在推理过程中被激活，形成可追踪的推理轨迹。关系推理层的规模通常是实体数乘以关系数，它是模型中最密集的结构，也是推理路径的主要发生地。

关系组合层则负责捕捉多跳链式结构。知识图谱中的关系往往不是孤立的，父亲与父亲可以组合成祖父，外交关系可以组合成国家间的联盟。关系组合层通过神经元之间的耦合来表示这些链式结构，使得模型能够在推理时自动调用组合关系。

四层之间形成双向耦合，实体层与关系推理层之间是固定连接，关系层与关系组合层之间则通过学习逐渐形成。这种结构让模型既能保持稳定的实体表征，又能在关系结构中发现潜在的组合规律。整个网络的拓扑因此成为知识图谱的显式表达。

04 网络动力学：受路径整合启发的状态更新机制

神经结构推理器的推理过程不是矩阵运算，而是神经元激活序列。每一层的状态更新都遵循研究中的核心动力学公式：

这条公式在四层结构中反复出现，它描述了神经元在每一步的状态更新方式。推理过程因此类似于大脑中的路径整合机制，系统通过累积输入驱动状态更新，从而在关系空间中“移动”。

门控机制是动力学中的关键，它确保只有实体与关系共同出现时才触发绑定神经元。研究在关系推理层中使用了阶跃函数作为门控，使得神经元只有在满足特定条件时才被激活。这种设计让推理过程具有明确的路径结构，激活序列可以逐层观察，形成可追踪的推理轨迹。

路径整合式推理的优势在于，它不依赖显式的规则，也不依赖向量空间的几何关系，而是通过神经元之间的耦合自然涌现。推理过程因此具有可解释性，每一步的激活都对应具体的实体或关系，整个推理链可以直接从网络的激活状态中读出。

05 三元组编码：如何把知识图谱写入神经网络

知识图谱的核心是三元组，神经结构推理器通过特定的连接结构将三元组写入网络。每个三元组都会激活关系推理层中的绑定神经元，并在关系层中建立关系与逆关系的对称结构。

研究给出的三元组编码公式是：

这条公式描述了绑定神经元与关系神经元之间的连接方式，每个三元组都会在网络中留下痕迹，使得模型能够在推理时通过激活序列找到对应的尾实体。

关系与逆关系的对称结构让模型具备双向推理能力。父亲关系与孩子关系在训练过程中形成耦合，使得模型能够从父亲推到孩子，也能从孩子推回父亲。这种对称结构是神经结构推理器的基础，它让模型能够在关系空间中自由移动。

06 Hebbian学习：让网络自动发现等价关系与组合规则

神经结构推理器的另一个核心机制是 Hebbian 学习，它让模型能够在训练过程中自动发现等价关系、逆关系与组合关系。Hebbian学习的基本思想是“共同激活的神经元会形成更强的连接”，研究团队将这一思想应用到关系层与关系组合层中。

关系等价通过共同激活的关系神经元形成，当两个关系在同一头实体下指向同一尾实体时，它们的逆关系神经元会共同被激活，从而形成耦合。研究使用了 Oja 规则来更新关系层的权重，公式是：

这条公式让关系等价在训练过程中自然涌现，而不需要人工规则。

逆关系与对称关系也通过类似的机制形成，当关系与逆关系在推理过程中共同出现时，它们的耦合权重会逐渐增强，使得模型能够在关系空间中进行双向推理。

组合关系通过检测闭环路径形成。当模型在推理过程中发现某个两跳链能够回到原始实体时，它会在关系组合层中建立新的组合神经元。研究给出的组合关系更新公式是：

这条公式让组合关系在训练过程中自然形成，使得模型能够在推理时自动调用多跳链式结构。

这些结构不依赖人工规则，而是通过神经动力学与 Hebbian 更新自然学习。神经结构推理器因此具备了结构化知识的自组织能力，能够在训练过程中自动发现潜在的关系规律。

07 推理流程：从单跳到多跳的可解释推理

神经结构推理器的推理过程，它不像传统模型那样把推理藏在向量空间的几何关系里，也不像符号系统那样依赖显式规则，而是让推理以神经元激活序列的形式自然展开。每一步都能看到具体的实体、关系或组合关系被点亮，整个推理链可以逐层可视化，像是在观看一条在网络中流动的光轨。

等价关系检索是推理的起点，当模型接收到一个查询关系时，它会在关系层中激活对应的关系神经元，并通过关系层的耦合结构扩散到与之等价的关系集合。研究团队在关系层中使用了门控机制，使得只有激活强度超过阈值的关系才会被保留，这些激活值同时也成为路径支持分数，为后续的推理提供权重参考。

单跳推理紧随其后，模型会激活头实体的神经元，并与等价关系集合共同投射到关系推理层。关系推理层的动力学会根据绑定结构激活对应的尾实体，使得模型能够在单跳关系中找到候选答案。这个过程完全依赖网络的结构与动力学，不需要任何显式规则。

组合关系检索是多跳推理的关键，模型会重新激活查询关系，并让其在关系组合层中扩散，找到与之相关的组合关系链。研究在组合层中使用了 Hebbian 学习，使得组合关系的激活强度能够反映其在训练过程中出现的频率与可靠性。激活强度同样作为路径支持分数，为多跳推理提供权重。

多跳链式推理则是整个推理流程的高潮，模型会依次激活组合关系链中的每个关系，并在关系推理层中逐跳传播实体状态。每一跳都会产生新的实体激活，最终形成多跳推理的尾实体集合。这个过程像是在关系空间中行走，路径由组合关系链决定，动力学由绑定结构驱动。

路径支持分数聚合是推理的最后一步，模型会收集所有单跳与多跳路径，并根据路径支持分数进行聚合。研究给出了聚合公式：

这条公式描述了两种聚合方式，分别对应累积路径与最强路径。模型会根据验证集选择最优方式，从而得到最终的候选实体排序。

整个推理过程可以逐层可视化，关系层的扩散、关系推理层的绑定、组合层的链式激活、实体层的最终点亮，都能在推理过程中看到。这种可解释性是神经结构推理器最具价值的特性之一，它让推理不再是黑箱，而是可以直接观察的神经动力学过程。

08 实验结果：性能、效率与可解释性的三重平衡

神经结构推理器的实验结果呈现出一种非常有趣的平衡，它既不是性能最强的模型，也不是最简单的模型，但在性能、效率与可解释性之间找到了一个独特的三点平衡。

图2:NSR中的可追溯推理。（a）推断逻辑路径的示意图：大使馆触发其逆操作，将巴西映射到英国。（b）查询的每个阶段的神经元激活（巴西、大使馆？）。激活关系神经元大使馆会触发LR层中候选等价关系的激活（例如，weightedunvote−1是大使馆的相关逆关系）。选定的关系和主实体巴西共同投影到LZ层。LZ中的状态转换通过循环动力学导致编码尾部实体UK的神经元激活。

在 Nations 与 YAGO3-10 上，模型表现强劲。Nations 是一个结构化关系非常密集的小型知识图谱，神经结构推理器在其中的表现接近最优，说明它在结构化关系高度明确的场景中具有天然优势。YAGO3-10 是一个规模更大、关系更复杂的图谱，模型依然保持了竞争力，展示了其在大规模结构化推理中的潜力。

在 FB15k-237 上，模型保持竞争但不占优势。这个数据集的关系结构更加稀疏，组合关系较少，神经结构推理器的结构化优势无法完全发挥，因此表现略逊于部分深度学习模型。

在 Kinship 上，模型呈现明显的数据集依赖性。Kinship 的关系结构高度复杂且具有强烈的组合性，但同时也包含大量噪声与不规则模式，模型在其中的表现不如 Nations 或 YAGO3-10。这一结果说明神经结构推理器在结构化关系明确的场景中更具优势，而在噪声较多的场景中需要进一步优化。

图3：潜在关系层次结构。NSR学习的组合规则，满足（h，r1，x）∧（x，r2，t）=（h，r3，t），适用于（a）国家和（b）亲属关系1990年。实线表示r1，虚线表示r2，颜色强度表示规则置信度。

训练效率是模型的另一大亮点，研究的实验结果显示，神经结构推理器的训练速度显著优于多数神经基线，尤其是在大规模图谱上。这种效率来自模型的结构化设计，它不依赖复杂的梯度传播，而是通过 Hebbian 学习与固定连接实现结构化推理。

推理路径可直接读出，是模型最具特色的能力。传统模型的推理过程往往不可解释，而神经结构推理器的推理路径可以逐层观察，关系层的扩散、组合层的链式激活、实体层的最终点亮，都能在推理过程中看到。这种可解释性让模型在结构化推理任务中具有独特优势。

关系链与实体簇在网络中自动涌现，是模型的另一个亮点。研究展示了多个案例，说明模型能够在训练过程中自动形成关系链与实体簇，这种自组织能力让模型能够在结构化知识中发现潜在规律，而不需要人工规则。

图4：国家中的学习型关系组织。基于LZ中国家关系联系的PCA预测。出现了四个与冷战政治集团相对应的集群。

09 消融研究：验证每个机制的必要性

研究的消融研究非常系统，它验证了模型中每个机制的必要性。逆关系编码、关系等价检索、组合推理、Hebbian 学习都被证明是不可或缺的。

逆关系编码的消融结果显示，去掉逆关系会让模型的性能大幅下降，尤其是在多跳推理任务中。逆关系是模型双向推理能力的基础，没有它，模型无法在关系空间中自由移动。

关系等价检索的消融结果显示，去掉等价关系会让模型在单跳推理中失去重要的结构化信息，导致性能下降。等价关系是模型结构化推理的入口，它让模型能够在关系空间中找到更广泛的候选路径。

组合推理的消融结果显示，去掉组合关系会让模型在多跳任务中几乎失去能力。组合关系是模型多跳推理的核心，没有它，模型无法在关系链中进行结构化推理。

Hebbian 学习的消融结果最为显著，去掉 Hebbian 学习会让模型的性能几乎完全崩溃，说明 Hebbian 学习是整个架构的核心驱动力。它让模型能够在训练过程中自动发现等价关系、逆关系与组合关系，使得结构化知识能够在网络中自然涌现。

10 神经结构推理器的意义与未来方向

神经结构推理器的意义在于它提供了一种介于符号推理与深度学习之间的第三路径，符号推理强调逻辑结构，但缺乏鲁棒性；深度学习强调模式拟合，但缺乏可解释性。神经结构推理器让结构化知识通过神经动力学自然表达，既保留了结构化推理的逻辑性，又具备神经网络的连续动力学。

它展示了结构化知识可以通过神经元之间的耦合自然涌现，而不需要人工规则。它让推理过程可以逐层观察，为可解释推理提供了新的架构基础。它让关系链与实体簇在网络中自组织，为结构化知识的自动发现提供了新的可能。

未来方向包括多模态结构化知识、噪声图谱的鲁棒性、类脑序列检测机制等。模型目前主要处理离散三元组，未来可以扩展到文本、视觉、事件等多模态结构化知识。模型在噪声图谱中的表现需要进一步优化，可以通过稀疏激活或近似检索提高鲁棒性。类脑序列检测机制可以让模型在更复杂的推理任务中保持结构化能力。

神经结构推理器不是对现有方法的替代，而是对结构化推理的一种重新思考。它让我们看到一种可能：推理不必是黑箱，也不必是符号，它可以是神经结构与动力学的自然产物。（END）

参考资料：https://arxiv.org/abs/2609.36620

这是一些朴素的人工智能与意识科学的研究，亲爱的人工智能爱好者、研究者，为了确保您不会错过*波动智能*的最新推送，请星标*波动智能*。我们倾心打造并精选每篇内容，只为为您带来启发和深思，希望能成为您理性思考路上的伙伴！

加入AI交流群请扫码加微信

亲爱的！文章每获得 1 个点赞，腾讯公益慈善基金会将向该文章支持的公益项目捐赠 0.1元公益金。让每一次认可汇成对公益项目的实际支持，一起让好事发生！