面向聚类的可解释AI：以数据为中心的综述

面向聚类的可解释AI：以数据为中心的综述

Explainable AI for Clustering: A Data-Centric Survey

https://hal.science/hal-05719111v1/file/main.pdf

摘要
随着可解释人工智能 (XAI) 对于在敏感领域部署值得信赖的机器学习模型变得越来越关键，文献主要集中于监督学习方法的可解释性。因此，尽管无标签数据的指数级增长推动了聚类等无监督方法的使用，但此类无监督方法的可解释性在很大程度上仍未得到充分探索。在本文中，我们通过一篇关于聚类可解释性的综合调查来弥补这一不平衡。我们采用多维的、以数据为中心的视角，根据现有方法所处理的输入数据模态以及它们所产生的输出解释的形式，而不是根据算法族来对现有方法进行分类。我们也批判性地审视了这些可解释性方法是如何被评估的。这种以数据为中心的方法为研究者和从业者提供了一份实用的路线图，同时突出了XAI未来有前景的发展方向。

关键词：可解释人工智能 (XAI)
聚类
无监督人工智能
以数据为中心的人工智能 (DCAI)
评估

1. 引言与相关工作

聚类是当今用于分析数据集并从中提取价值的主要数据挖掘技术之一。聚类算法是一种机器学习算法，它为一组观测值（或样本）归纳性地构建一个分组模型，从而将相似的观测值放在同一个聚类中，将不相似的观测值放在不同的聚类中 [124]。聚类算法数量庞大，包括 K-Means、K-Medoids、DBSCAN、BIRCH、GMM 等 [123]。一些较新的方法将深度学习融入聚类过程，以便通过更合适的表示来更好地识别聚类 [107, 132]。其他方法则是专门为在特定类型的数据上取得更好结果而设计的，例如时间序列 [3, 5]、图 [1, 75]、图像 [58, 74] 或文本 [2, 88]。可用方法的这种多样性促成了聚类作为一种分析技术的多功能性。

因此，聚类的用例众多且多样 [99]，跨越了广泛的应用领域：医疗保健 [7, 125]、生物学 [64, 96]、天文学 [21, 127]、金融 [86, 115]、网络安全 [15, 71]、预测性维护 [105]、市场营销 [122]、社交网络分析 [52, 89] 等。

在所有这些领域中，尤其是在医疗保健等某些关键领域，数据分析算法所产生结果的可靠性是分析人员主要关注的问题。

为了对机器学习模型返回的结果建立更大的信任——但在某些情况下，也是为了识别和减轻模型所捕捉到的偏见和刻板印象 [35, 41, 54]——分析人员希望能获得一些额外的解释，使他们能够评估其结果的相关性。正如文献中经常指出的那样 [28, 46]，以形式化和标准化的方式定义这种解释的概念是一项艰巨的任务，因为它可能因个人、其专业知识、问题的性质以及所使用的算法而有很大差异。在本文中，我们将解释视为一条可以采取各种形式的信息，所有这些形式都是人类可读和可理解的，并且在不同的层面上传达了导致算法产生特定结果的因果关系。

可解释人工智能（XAI）领域专注于开发方法来为监督式（例如分类）和无监督式（例如聚类）机器学习算法生成此类解释。有几项调查对该领域、其概念和方法进行了梳理。Dwivedi 等人 [37] 对底层机器学习算法采取了一种宽泛的、不可知论的视角，旨在概述各种现有的 XAI 技术，从基于示例的方法到白盒模型，包括面向数据的技术（可视化、降维）以及神经符号方法等范式。Ortigossa 等人 [98] 非常详细地描述了与 XAI 相关的所有概念，并提出了一种基于所用技术的可解释性方法的替代分类，例如包括基于信息可视化、近似或图的方法。在 [30] 中，作者关注深度学习模型的可解释性，并在现有方法中确定了不同的可解释性范围（如局部和全局）、不同的方法论（如基于扰动或基于反向传播/梯度）以及不同的实现层次（如内在和事后）。文中还讨论了评估可解释性方法的某些方面，包括某些质量标准，如不变性、稳定性和一致性。

在这些不同的研究中，很少或根本没有关注可解释性方法的应用背景是监督式还是无监督式。Ortigossa 等人 [98] 解释说，机器学习中的大部分努力，就像在 XAI 中一样，都集中在监督式背景上。然而，并非所有的 XAI 方法都必然适用于这两种背景。SHAP 方法 [79] 是目前可用的领先 XAI 方法之一，就是一个特别有代表性的例子。尽管 SHAP 可以通过将特定的标量输出隔离为伪标签来适应无监督背景，但它从根本上是为了监督式学习背景而量身定制的，因为其博弈论框架旨在将一个明确定义的预测目标分解为相对于预期基线的加性特征归因。因此，将其应用于解释聚类算法的结果并非易事。

直到最近 [32, 56] 的发表，很少有研究调查无监督机器学习算法，特别是聚类算法的可解释性。Deowprabowo 等人 [32] 提出将现有方法分类为五个不同的技术族，特别包括使用代理模型使为监督式背景设计的 XAI 方法适用，或构建规则树。另一方面，Hu 等人 [56] 采用了一种主要基于两个轴的多维分类：过程阶段（聚类前、聚类中或聚类后）和作为输出产生的解释形式，即决策树、规则、原型、凸多面体或描述。

这两篇关于聚类可解释性的近期调查的一个共同局限是，它们主要关注用于构建解释的技术本身及其特征，而不是其输入和输出。虽然这种视角有助于将研究人员提出的新方法置于背景中，但它不太适合从业者，而从业者毕竟是可解释性方法的主要目标受众。实际上，从实践的角度来看，从业者在查阅文献时最先提出的问题更可能是：1）哪些方法可以应用于我的数据，或者，是否有专门为我的数据设计的方法？2）产生的解释形式是否对我有意义，我是否能够自己构建，以便理解和利用所提供的信息？用于构建解释的确切方法虽然总是很有趣，但因此更多是次要考虑因素。Hu 等人 [56] 的调查所采用的分析网格通过将解释的形式作为次要维度，部分解决了这些问题，但忽略了输入数据类型这一维度（除了在特定段落中的少数提及）。

在这两项关于聚类可解释性的调查中，还可以观察到，评估可解释性方法的问题被给予了次要考虑。然而，在聚类这样的无监督背景下，这是一个不平凡的问题，值得更深入地研究。

本调查的目的是提供一个补充现有聚类可解释性调查的视角。为此，我们采用了一种更以数据为中心的方法——与以数据为中心的人工智能（Data-Centric AI）范式一致——它根据目标数据的类型和产生的解释类型对最先进的方法进行分类。我们还关注现有的评估技术和指标。我们相信，以数据为中心的方法不仅对从业者有吸引力，为他们提供了一个适合其关键关注的框架，而且对研究人员也有吸引力，因为它提供了对现有评估技术更详细的描述，并确定了与聚类方法可解释性相关的新研究视角，特别是在与某些类型数据（图、时间序列等）相关的更具体设置中。

本文的其余部分组织如下。第 2 节概述了本研究的研究方法，介绍了分析语料库，并定义了核心概念。第 3 节调查了为聚类量身定制的现有可解释性方法，而第 4 节审视了用于评估它们的技术和指标。第 5 节对最新技术水平进行了批判性讨论，强调了关键挑战和未来的研究方向。最后，第 6 节总结并结束了本调查。

2. 预备知识

本节确立了本调查的方法论和概念基础。它首先描述了所审查的方法论论文语料库是如何构建的，包括选择标准、与现有调查的比较以及搜索过程的主要局限性。它定义了在文章剩余部分中用于分类和比较所审查方法的概念、数据类别、解释形式和聚类阶段。

2.1. 方法论

本调查中审查的文章语料库是通过在 Google Scholar 上使用查询词 explainable clustering（可解释聚类）、interpretable clustering（可解释聚类）和 cluster explanation（聚类解释）进行有针对性的文献搜索而构建的。Hu 等人 [56] 和 Dewoprabowo 等人 [32] 的调查被用作初始切入点。随后，通过检查所选论文中引用的参考文献以及引用它们的较新出版物，利用向后和向前引文追踪来扩展搜索。

当聚类可解释性是核心贡献，并且所提出的方法至少满足以下条件之一时，一篇论文会被保留：(i) 它产生了对聚类结果、聚类特征或个体分配的明确的人类可解释解释；或者 (ii) 它引入了一种明确且人类可解释的机制，例如语义判断或可读约束，其目的是使聚类形成过程更易理解或更好地与人类知识保持一致。

所提出的方法还必须被足够详细地描述，以支持对其进行的表征。仅使用指导或约束来提高聚类性能的方法，如果它们没有明确的可解释性目标，并且不旨在使划分与人类知识或用户意图保持一致，则被排除在外。仅将聚类用作辅助分析工具的研究也被排除在外。

优先考虑同行评审的出版物。预印本在提供直接相关、足够详细且具有方法论实质贡献的情况下被保留。这一过程产生了一个包含 61 篇方法论论文的语料库。

这一程序有两个主要局限性。首先，探索先前所选论文的参考文献可能会引入选择偏差，偏向于文献中已经可见的方法。其次，Google Scholar 可能会引入可见性偏差，因为其相关性排名和推荐机制并不完全透明，可能会偏向于高被引或索引良好的出版物。因此，该语料库并不旨在提供该领域的详尽清单。相反，它支持一种补充性的、以数据为中心的分析，以探讨从所审查文献中出现的趋势、挑战和研究机会。

为了定位由此产生的语料库，我们将其与 Hu 等人 [56] 和 Dewoprabowo 等人 [32] 的方法论语料库进行了比较。图 1 中的维恩图显示，有 14 种方法为所有三个语料库所共有。总体而言，我们语料库中包含的 61 种方法中有 41 种出现在两篇参考调查中的至少一篇中，显示出与现有技术水平的实质性连续性。两篇参考调查中均未出现的 20 种方法则表明了互补的覆盖范围。

2.2. 定义

聚类是指根据数据中识别出的相似性或关系，将无标签的观测值组织成称为聚类的组 [123, 124]。由此产生的组不是预先定义的，而是取决于数据表示和聚类标准。

解释和可解释性的概念在文献中获得了不同的定义 [46, 28]。

在本调查中，解释是一条信息或一种人类可理解的表示，它帮助用户理解聚类结果或获得该结果的过程。它可以描述聚类的属性、聚类之间的差异、与其形成相关的因素、单个观测值的分配，或构建划分所涉及的决策和机制。

可理解性主要涉及聚类结果或模型能够被直接理解的程度，而可解释性则涉及用于提供关于结果或产生该结果的过程的信息的机制。在实践中，这些概念密切相关，其界限并不总是清晰明确的。

可解释聚类是指将解释机制整合到聚类过程中，或为现有聚类结果生成解释的方法 [32, 56]。

遵循 Hu 等人 [56] 采用的区分，解释机制可以在聚类过程的不同阶段进行干预。聚类前方法在构建划分之前引入可解释性，例如通过特征选择、可解释表示、约束或领域知识。聚类中方法将可解释性直接整合到聚类程序或其目标中。聚类后方法在获得划分之后对其进行解释，而不必修改原始聚类算法。一些方法可能会结合在不止一个这些阶段中运作的机制。

借鉴现有的分类 [32, 56]，我们区分了八种主要的解释形式。基于决策树的解释通过可解释测试的层次结构来表示聚类。每条从根到叶的路径都描述了与某个聚类或单个分配相关的条件。基于规则的解释通过明确的逻辑条件来表征聚类，而不必以层次结构来组织它们。基于原型的解释使用在原始数据空间中或聚类方法所使用的表示空间中定义的质心、中心点、范例、合成原型或其他代表性元素来表示聚类。基于特征的解释识别出对聚类形成、区分或单个分配贡献最大的变量或维度。几何或基于区域的解释通过特征空间的明确区域来描述聚类，例如区间、超矩形、超立方体、凸区域或多面体。基于描述或模式的解释使用有意义的术语、语义概念、标签、频繁模式、子序列或图子结构来表征聚类。基于可视化的解释使用投影、聚类图、热力图、图表或其他视觉摘要来支持解释。基于过程的解释揭示获得最终划分所经历的机制、中间步骤、决策、语义判断或可解释约束。因此，它们关注的是聚类形成过程的透明度，而不仅仅是对其最终输出的解释。这些形式并非相互排斥，因为一种方法可能会提供几种互补的解释。

3. 可解释聚类方法

本节沿着两个主轴回顾所选取的可解释聚类方法：它们处理的数据类型以及它们产生的主要解释形式。

第一个维度将作用于任意向量数据的方法与专门为表格、文本、图像、序列、时间序列、图以及多模态或多视图数据设计的方法区分开来。任意向量方法将观测值作为向量处理，而不显式利用与其原始模态相关的结构。辅助信息，例如相似度值、聚类成员资格或现有划分，也可以被使用。

在每个数据类别中，方法根据其主要解释形式进行组织，包括决策树、规则、原型、基于特征的解释、几何区域、语义描述、可视化和基于过程的解释。

为了保持一致性，每种方法根据其直接利用的表示被分配到一个主要数据模态，并根据其主要的人类可解释输出被分配到一个主要解释形式。当次要解释形式发挥实质性作用时，也会提及它们。

图 3 总结了 61 种所审查方法在所考虑的数据类别中的分布。

表格方法构成最大的类别，有 22 种方法（36.1%），其次是作用于任意向量数据的 21 种方法（34.4%）。这两个类别合计占所审查语料库的 70.5%。基于图的方法占五项研究，文本方法占四项，图像和序列方法各占三项，时间序列方法占两项，多模态或多视图方法占一项。

3.1. 任意向量作为输入

3.1.1. 基于决策树的解释

针对任意向量数据的基于决策树的方法通过一个可读测试的层次结构来表示划分，从而解释聚类。每条从根到叶的路径描述了与一个或多个聚类分配相关的条件。根据方法的不同，树可以从向量表示本身构建，也可以从辅助聚类输出（例如成员资格或现有划分）构建。

近期的任意向量方法将这种基于树的原理适配到不同的聚类设置中。ICE [80] 将其应用于聚类集成，通过从多个基划分构建一个共识划分，并用一棵可解释的决策树来表示它。SpEx [8] 将基于树的解释扩展到谱聚类，通过将解释树拟合到现有聚类或直接拟合到数据。IEMM [31] 将树状结构用于证据聚类，其中聚类成员资格可能是不确定的或部分的。可解释公平聚类 [63] 将公平性约束整合到基于树的聚类模型中，以控制敏感属性的影响。Makarychev 等人 [82] 构建了一棵轴对齐的阈值决策树，将通用向量数据划分为 k 个聚类，同时优化 k-中位数目标。每个内部节点对单个特征应用一个阈值，允许通过一条可读的从根到叶的路径来追踪观测值的分配。该方法还支持涉及观测值插入和删除的动态设置。

这些方法共享相同的主要解释形式：决策树。它们主要在所解决的聚类问题上有所不同：ICE 的集成共识、SpEx 的谱聚类、IEMM 的不确定成员资格，以及可解释公平聚类的公平性感知聚类。

3.1.2. 基于规则的解释

基于规则的方法使用逻辑条件、谓词或人类可读的规则来解释聚类。这些方法不是仅仅将点分配给组，而是通过识别覆盖聚类内许多点和聚类外少数点的条件，来描述一个组为何存在。

近期的任意向量方法以不同方式实现了这种基于规则的原理。ECS [50] 和 Carrizosa 等人 [20] 提出的方法都联合构建聚类与基于规则的解释。ECS 依赖于约束编程，而后者使用数学优化。

相比之下，Cluster-Explorer [97] 通过简洁的谓词合取来解释现有的黑盒聚类流程。KnAC [13] 将发现的聚类与专家知识进行比较，并生成可读的规则以及对拆分或合并聚类的建议。

这些方法之间的主要区别之一是：规则是与聚类联合生成的、事后提取的，还是用于支持专家引导的聚类细化。

3.1.3. 基于原型的解释

基于原型的方法通过代表性实例、质心或范例来解释聚类。

Carrizosa 等人 [19] 选择真实观测值作为事后原型，通过接近代表性实例来解释现有划分。相比之下，PC-X [100] 将范例学习直接整合到深度聚类过程中。其缓慢范例是聚类代表，在训练过程中逐步演变，这降低了它们对短期小批量变化的敏感性，并稳定了质心学习。

3.1.4. 基于特征的解释

特征重要性和特征选择方法通过识别对聚类形成或单个聚类分配有贡献的变量来解释聚类。

NEON [67] 对聚类模型进行归一化，并应用逐层相关性传播来获得单个分配的局部特征归因。Quetti 等人 [106] 将装袋与特征丢弃相结合，以产生稳定的共识划分和全局变量重要性得分。Ellis 等人 [38] 通过基于排列或扰动的度量来估计全局和局部特征重要性，这些度量独立于聚类算法。EXPLAIN-IT [92] 和 Horel 等人 [55] 将聚类分配转换为伪标签，以进行监督式解释。EXPLAIN-IT 应用 LIME 等方法来获得局部特征重要性，而 Horel 等人使用 SFIT 来识别统计上显著的变量。Horel 等人通过一个真实的财富管理合规用例和一项关于美国公司财务比率的实验说明了这种方法，展示了聚类级特征解释如何支持受监管金融环境中的检查 [55]。

这些方法主要在解释的范围以及用于估计特征相关性的机制上有所不同：神经归因、特征丢弃、扰动或监督式代理建模。

3.1.5. 几何和基于区域的解释

几何和基于区域的方法通过将聚类与输入空间中的明确区域相关联来解释聚类。这些区域可以采取超立方体、盒子、多胞体或其他空间描述的形式。它们的共同目标是通过几何约束使聚类边界可解释。

Chen 等人 [24] 通过多目标超立方体覆盖模型来解释现有聚类。它搜索可解释的区域，这些区域在紧凑性和超立方体数量之间取得平衡，允许用户在更简单或更详细的解释之间进行选择。

3.1.6. 基于描述和模式的解释

基于描述和模式的方法通过符号描述、标签或判别模式来解释聚类。与简单的特征重要性方法不同，它们的目标是提供总结每个聚类含义的语义描述。

深度描述性聚类 [128] 联合学习用于聚类的深度表示和符号聚类描述。这些描述由与观测值相关的可解释标签构建，例如语义属性或数据集特定的标签。该方法为每个聚类选择简洁且有判别力的标签子集。因此，这些标签不一定来自形式化本体、分类法或受控词汇表；它们的性质取决于数据集中可用的符号信息。

3.1.7. 基于过程的解释

基于过程的方法通过揭示导致最终分组的机制或分析步骤来解释聚类。

Li 等人 [73] 学习潜在聚类以及异构因果结构。他们的解释基于因果机制而非简单的相关性。Kmita 等人 [68] 分析了半监督模糊聚类中缩放因子 α 的影响，重点关注部分监督如何影响成员资格和原型。Alvarez-Garcia 等人 [6] 提出了一个完整的流程，包括预处理、降维、聚类和解释性分类。

这些方法共享过程层面的解释视角，但揭示了不同的机制：Li 等人学习到的因果结构、Kmita 等人考察的部分监督的影响，以及 Alvarez-Garcia 等人提出的完整分析工作流。

3.2. 表格数据作为输入

与将观测值作为向量空间中的通用点处理的任意向量方法不同，表格方法保留了输入变量的身份，并在某些情况下保留了其类型。这允许解释直接通过有意义的属性、分类值、数值阈值、选定的特征子集或原始特征空间中定义的区域来表达。因此，当解释依赖于单个变量的语义而不仅仅是通用向量之间的距离时，表格表示尤其相关。

3.2.1. 基于决策树的解释

基于决策树的方法通过对输入变量进行测试所构成的层次结构来解释表格聚类。它们的目标是通过将每个聚类与一条或多条从根到叶的路径相关联，来提供全局的、紧凑的和可读的解释。有几种方法遵循这一原则。

eUD3.5 [77] 直接从数值数据构建无监督决策树，并为聚类提取描述性模式。Bandyapadhyay 等人 [9] 用阈值树解释现有划分，同时允许移除有限数量的离群值以提高可解释性。IMM [93] 通过轴对齐的阈值树表示 k-均值或 k-中位数聚类，每个叶节点关联一个聚类。ExKMC [42] 扩展了这一原则，允许超过 k 个叶节点，这样一个聚类可以由多个叶节点表示，以更好地逼近复杂形状。

其他方法改进了基于树的公式。SigDT [57] 使用统计显著性检验为分类数据构建可解释的决策树。XClusters [59] 联合优化聚类质量和树的简洁性。Laber 等人 [70] 降低树深度以获得更短的说明。Jiao 等人 [65] 的方法将模糊成员资格与基于树的可解释性相结合，而 Gabidolla 和 Carreira-Perpiñán [43] 使用稀疏斜划分来获得更具表现力的树。

有几项工作通过阈值树研究可解释的 k-均值和 k-中位数。Charikar 和 Hu [22] 提供了取决于 k 和数据维度的近乎最优的近似保证。Gamlath 等人 [45] 提出了近乎紧致且 oblivious 的算法，而 Makarychev 和 Shan [83] 为 k-中位数和 k-均值推导出了改进的保证。Esfandiari 等人 [39] 建立了几乎紧致的上下界。Makarychev 和 Shan [84] 通过允许最多 (1 + δ)k 个叶节点来降低聚类成本。最后，Bertsimas 等人 [11] 使用混合整数优化联合构建聚类和决策树。

总体而言，这些方法主要区别在于树是在聚类期间还是聚类之后构建、所使用的划分类型，以及聚类质量与树复杂度之间的权衡。

3.2.2. 基于原型的解释

基于原型的方法通过使用代表性示例或多维原型来解释表格聚类。其共同思想是通过典型实例或代表性区域，而不是通过抽象的决策边界来理解一个聚类。

CIAMP [14] 使用多维原型而不是简单的质心来解释聚类。它还用更丰富的结构（如边界框或多维区域）来描述聚类，这使其更适合非球形聚类。

3.2.3. 基于特征的解释

特征重要性和特征选择方法通过识别对每个组或单个分配最相关的变量来解释表格聚类。它们的共同目标是使聚类在特征层面可理解。

ClusterSwarm [40] 通过将二元粒子群优化与 k-均值相结合来执行特定于聚类的特征选择。它识别最能表征每个聚类的变量子集。Interpret3C [111] 使用个性化特征选择来解释学生聚类，为每个学生选择相关变量，而不是对所有实例应用相同的特征集。

这两种方法都依赖特征选择，但它们的粒度不同：ClusterSwarm 在聚类层面选择变量，而 Interpret3C 强调个性化的特征相关性。

3.2.4. 几何和基于区域的解释

几何和基于区域的方法通过将表格聚类与输入空间中的明确区域相关联来解释它们。这些区域可以采取超立方体、盒子或多面体的形式。

多面体描述方法 [72] 使用凸多面体描述每个聚类，凸多面体定义为半空间的交集。ExACT [109] 使用树归纳和超立方体近似来在特征空间中产生可读区域。CREAM [108] 通过产生更精细的超立方体规则并改进解释过程的自动调优来扩展这一方向。更准确地说，超立方体规则通过对几个输入变量的区间约束的合取来表示一个聚类。由此产生的超矩形区域随后可以被转换为描述哪些观测值属于该聚类的可读规则 [108]。

这些方法共享一种空间解释视角：通过描述聚类在表格特征空间中所占据的区域，使聚类变得可解释。

3.2.5. 基于过程的解释

基于过程的方法通过使内部程序可理解来解释聚类。它们不仅提供最终的树、规则或区域，还阐明聚类过程如何产生最终分组。

CLASSIX [25] 是一种基于排序、邻近点的贪婪聚合以及组合并的快速可解释聚类方法。其可解释性来自过程的可追踪性：用户可以跟踪点是如何聚合的，以及组是如何合并成聚类的。因此，主要的解释形式是程序性的：聚类是通过创建它的步骤来理解的。

3.3. 其他数据模态作为输入

本小节回顾了为非表格、结构化或模态特定数据设计的可解释聚类方法，包括文本数据、图像、序列、时间序列、图和网络，以及多模态或多视图数据。在每个数据模态内，方法根据其主要解释形式进行组织。

3.3.1. 文本数据

文本数据的可解释聚类旨在通过人类可读的文本输出（如摘要、术语、提示、约束或基于语言的描述）使语义组变得可理解。

基于原型的解释。k-NLPmeans 和 k-LLMmeans [33] 引入了摘要作为质心的原则，其中数值质心被文本摘要取代，然后在向量空间中重新编码。解释是基于原型的，因为每个聚类由可读的摘要表示，而不是由纯数值质心表示。该论文还通过一个顺序文本流案例研究评估了小批量扩展，并引入了一个基于 StackExchange 的基准。这个设置说明了可读的文本质心如何随着新文档被纳入聚类过程而演变 [33]。

基于过程的解释。ClusterLLM [130] 使用三元组判断来细化文本表示，并使用成对判断来确定聚类粒度，而 Viswanathan 等人 [117] 的方法通过在划分之前、期间和之后通过表示扩展、成对约束以及不确定分配的纠正来指导聚类。

这些方法不产生对最终聚类的传统事后描述。它们被归类为基于过程的方法，因为明确的基于语言的判断和约束被用来指导聚类形成，并使结果划分与人类知识或用户意图保持一致。

基于特征的解释。Greene 和 Cunningham [49] 使用加权术语和可解释的文档成员资格来解释文档聚类。加权术语识别表征每个聚类的文本特征，同时也提供对结果组的可读语义描述。

3.3.2. 图像数据

图像数据的可解释聚类旨在将聚类与人类可以检查的视觉结构联系起来，例如选定的波段、像素组或透明的神经聚类机制。

基于过程的解释。TELL [102] 将 k-均值重新表述为可微分的神经层，使聚类机制成为神经架构的一部分。因此，它的解释是基于过程的，因为聚类操作被整合到模型结构中。基于神经聚类的视觉表示学习 [23] 提出了 FEC，其中像素逐步分组为分层视觉表示。这种方法与可解释聚类相关，因为它使视觉表示过程更加透明，尽管其主要目标是视觉表示学习。

基于特征的解释。Kang 等人 [66] 通过由视觉感知和格式塔原则引导的光谱波段选择引入可解释性。由此产生的解释基于选定的光谱波段和伪彩色表示。

3.3.3. 序列数据

序列数据的可解释聚类必须保留事件的顺序。因此，解释不仅应捕捉出现了哪些元素，还应捕捉它们是如何逐渐展开的。

基于描述和模式的解释。SigISC [53] 联合构建序列聚类，并通过统计上显著的序列模式来解释它们，而 Dong 等人 [34] 从初始划分开始，并在二元解释树中组织判别性序列模式。

基于规则的解释。FinDeepBehaviourCluster [91] 使用 Bi-LSTM 注意力模型学习点击流嵌入，将其与专家设计的行为特征相结合，并通过逻辑规则解释风险聚类。该框架在大规模电子商务点击流数据上进行评估，用于交易欺诈检测。提取的规则用于为风险聚类附加叙述性描述，支持案件调查和识别先前未知的风险模式 [91]。

3.3.4. 时间序列数据

时间序列的可解释聚类侧重于时间动态。解释必须捕捉数值信号中的模式、时间关系或代表性后续序列。

基于特征的解释。Time2Feat [16] 通过两个互补的可解释时间特征族来表示多变量时间序列。信号内特征总结每个单独信号的时间行为，例如通过统计或形状相关的特征。信号间特征描述不同信号之间的关系，特别是通过距离或相关性。然后，特征选择阶段保留对聚类贡献最大的时间特征。与通用向量化不同，这种表示保留了个体信号的动态与它们之间关系之间的区别。

基于描述和模式的解释。k-Graph [17] 将单变量时间序列表示为从重复后续序列构建的图。该图的节点和关系保留了关于局部时间模式及其在序列中组织的信息，而不是将完整信号简化为单个通用向量。聚类通过称为 graphoids 的代表性图结构来解释，这些结构总结了表征分配给每个组的时间序列的后续序列模式。

3.3.5. 图和网络

图和网络的可解释聚类侧重于关系结构和社区。解释必须考虑节点、链接、属性或结构角色。

基于原型的解释。Sun 等人 [114] 通过一个中心节点和一个相关的覆盖半径来表示每个社区。中心节点充当原型，因为它被选为社区的代表性节点，而覆盖半径不是原型。它是一个图距离阈值，决定哪些节点属于中心节点周围的社区。因此，该方法被归类为基于原型的，因为解释以代表性节点为中心，而半径仅定义了该原型周围社区的范围。

基于可视化的解释。类-聚类匹配的增强可视化 [60] 通过使用 MCC、rMCC 和 cPurity 等度量可视化已知类别与检测到的聚类之间的关系，来解释患者相似性网络。

基于规则的解释。ExCut [44] 将知识图谱嵌入与符号规则学习相结合，通过实体之间的逻辑关系使潜在图聚类可解释。Sadler 等人 [110] 提出了一种事后、模型无关的方法，通过可解释的结构特征来解释社区检测结果。在节点层面，聚类系数、三角形参与度、中心性和扩展等特征表征了局部凝聚力、结构重要性以及节点与其周围社区的关系。在节点对层面，Jaccard 系数和余弦相似度衡量邻域重叠，并帮助解释为什么两个节点被分配到同一个社区。

基于描述和模式的解释。Pool 等人 [104] 联合检测有凝聚力的社区，并产生简洁的基于属性的描述。

3.3.6. 多模态和多视图数据

多模态和多视图数据的可解释聚类旨在解释从多个信息源构建的聚类。主要挑战不仅在于解释最终分组，还在于解释每个视图或模态的贡献。

基于决策树的解释。可解释多视图聚类 [62] 联合学习多视图表示、聚类分配和一棵解释树。该树将最终划分与不同视图的贡献联系起来。

3.4. 综合

所审查的语料库揭示了数据模态之间明显的不平衡。可解释聚类主要针对任意向量和表格数据进行了研究，而结构化和异构模态的代表性仍然较低。这些计数反映了所选语料库的构成，不应被解释为对整个领域活动量的详尽衡量。

在解释形式上也出现了类似的不平衡。任意向量和表格方法涵盖了广泛的输出，包括决策树、规则、原型、基于特征的解释、几何区域和基于过程的解释。相比之下，一些模态仅与有限子集的解释形式相关联。时间序列方法主要依赖时间特征或代表性后续序列结构，而所审查的多模态和多视图文献仅由一种基于决策树的方法代表。图像方法主要关注视觉特征和基于过程的解释，而图方法则表现出更广泛的输出多样性，包括原型、可视化、规则、结构特征和基于属性的描述。

尽管存在这些不平衡，输入模态和解释输出的多样性允许从业者根据其数据的结构以及他们认为有意义的解释形式来选择技术。这种多样性也使评估变得更加困难，因为具有根本不同输出的解释不一定能用相同的标准来评估。因此，下一节将考察用于评估聚类中解释的定量和定性方法。

4. 聚类中解释的评估

本节专门关注聚类背景下产生的解释的评估。仅评估底层划分的指标本身不被视为解释质量的标准。然而，当它们量化由解释性约束或通过可解释结构对原始聚类进行近似所导致的聚类质量下降时，仍会予以讨论。因此，聚类模型、用于构建解释的程序以及用于评估该解释的程序必须被视为不同的组成部分。

尽管聚类模型通常在没有预定义目标标签的情况下学习，但其解释可以以监督式或无监督式的方式进行评估。为避免歧义，此处使用术语监督式和无监督式来描述评估协议，而非聚类模型的学习范式。监督式评估需要目标或外部参考，例如原始聚类分配、已知的解释性特征、参考规则、标注概念、专家知识或人类判断。无监督式评估不需要此类参考信息，而是依赖解释的内在属性，例如其结构复杂性、稀疏性、简洁性或稳定性。

以下小节根据这种监督要求区分定量和定性评估标准。然后，我们考察在监督式 XAI 中 developed 的哪些标准可以转移到聚类结果的解释中，哪些需要调整，以及哪些不直接适用。

4.1. 定量评估

可解释性导致的聚类退化。定量评估依赖于可测量的标准。第一个方面涉及与解释相关的划分质量。尽管这些标准主要评估聚类而非解释本身，但当解释过程约束、近似或修改原始划分时，它们就变得相关。在这种情况下，它们量化了可解释性要求所引入的聚类质量损失。

当外部参考标签可用时，可以使用外部聚类验证指标来检查这种损失。调整兰德指数（ARI）在比较两个划分的同时校正了随机预期的一致性 [119]。标准化互信息（NMI）提供了划分之间的信息论比较 [113]，而纯度和 F 度量评估聚类与参考类别之间的对应关系 [85]。

当没有参考标签可用时，可以改用聚类算法的目标函数。对于 k-均值，标准目标是簇内平方欧几里得距离之和，

解释的监督式定量评估。第二个方面涉及解释的保真度。目标是衡量解释是否正确地反映了原始聚类产生的分配。这可以通过解释所诱导的分配与原始聚类产生的分配之间的一致性来评估。对于基于规则的描述，精确率、召回率、覆盖率、分离度和解释误差也可以用作补充标准 [56, 97]。

解释的无监督式定量评估。第三个方面涉及解释的复杂性和可读性。对于基于树的方法，结构复杂性可以通过树的深度或叶节点的数量来表征。对于基于规则的方法，它可能对应于规则的数量和长度。对于基于原型或特征的方法，它可能涉及原型或所选变量的数量 [19, 20, 40, 59, 70]。

对于几何解释，应区分两种复杂性来源。第一种是结构复杂性，可以通过描述聚类所需的区域、超立方体、边界或约束的数量来衡量 [24]。第二种涉及表示空间的语义可解释性。当坐标轴对应于原始的、具有领域意义的变量时，区域的边界可以被解释为对数据的明确条件。相比之下，当区域是在潜在空间或降维空间中定义，且其坐标轴无法直接与原始变量或领域概念相关联时，即使几何上简单的区域也可能仍然难以解释 [10]。

因此，结构简单性应被视为可读性的间接代理。一个解释可能既紧凑又忠实，但仍然难以理解，因为其结构过于复杂，或者其表达所用的表示缺乏语义透明度 [69, 95]。

另一个无监督标准是解释稳定性。它评估解释在重复运行中或在数据、初始化、聚类参数或解释程序的有限变化下是否保持一致。对于基于特征的解释，稳定性可以通过所选特征之间的重叠或秩相关性来衡量。对于基于原型的方法，它可能涉及所选代表的一致性。对于树和规则，它可以通过跨运行获得的变量、阈值、路径或谓词的相似性来评估。稳定性并不确立语义正确性，但它表明解释是可复现的，而不是特定于某一次执行的 [95]。

4.3. 监督式 XAI 评估的可迁移性

跨调查分析揭示了监督式 XAI 与可解释聚类之间的一个根本差异：被解释的输出的性质。在监督式设置中，解释涉及与训练前定义的类别或目标值相关的预测。因此，输出的语义是事先已知的。相比之下，在聚类中，模型没有提供目标。解释涉及数据中发现的结构，例如观测值的分配、特定聚类的特征，或整体划分的组织 [32, 56, 121]。

这种区别也影响了评估期间使用的参考。在监督式学习中，准确率、精确率、召回率、F1 分数、AUROC 和对数损失根据已知目标标签评估模型的预测性能。因此，它们是模型性能指标，而不是解释质量标准。

在聚类中也需要类似的区分。轮廓系数、Davies–Bouldin 指数、Calinski–Harabasz 指数和惯性等内部指标评估划分本身的属性。当存在独立参考标签时，ARI、NMI 和纯度等外部指标将划分与这些标签进行比较。这些度量评估聚类质量，不应被解释为解释质量的直接度量。只有当解释过程修改、约束或近似原始划分时，它们才与解释评估相关。

保真度必须相对于每种学习范式产生的输出来定义。在监督式 XAI 中，它衡量解释反映模型预测行为的程度。在可解释聚类中，它涉及解释与原始聚类算法产生的分配之间的一致性。当解释采取代理模型的形式时，这种一致性可以使用相同分配的比例或对标签排列不变的划分比较指标（如 ARI 或 NMI）来衡量。ARI 和 NMI 的作用取决于其计算中使用的参考划分。当参考由独立的真实标签组成时，它们评估外部聚类有效性。当参考是原始聚类模型产生的划分时，它们量化代理解释的分配保真度。在后一种情况下，该指标涉及解释与模型的一致性，而不是聚类的语义正确性。然而，一个解释可能忠实地再现了一个划分，却没有证明该划分是稳定的、语义有意义的，或对预期用户有用的 [56, 95]。

基于这种区别，通用 XAI 中的几个解释评估原则仍然与可解释聚类相关。多维评估、以人为中心的解释、复杂性评估以及评估协议的标准化在原则上仍然适用，尽管它们的操作化可能取决于聚类模型和解释形式。例如，树深度、规则的数量和长度、原型的数量或所选特征的数量可以在监督式和聚类设置中表征解释复杂性 [56, 69, 95]。

其他解释属性需要进一步调整。在监督式 XAI 中，解释鲁棒性通常评估输入的微小扰动或模型的有限变化是否会导致解释产生不成比例的变化。在聚类中，这种分析必须区分两种变化来源。第一种是聚类模型本身的不稳定性：初始化、参数、表示或距离度量的变化可能会修改所发现的划分。第二种是解释在固定或足够稳定的划分条件下的不稳定性。解释不应仅仅因为它反映了划分的真实变化就被认为是非鲁棒的。相反，当聚类分配保持稳定时，解释发生实质性变化则表明解释程序不稳定。因此，在分析它们的关系之前，应分别评估聚类稳定性和解释鲁棒性。

一些为监督式 XAI 开发的评估指标不能直接应用于聚类。基于扰动的指标，如 Deletion AUC、Insertion AUC、充分性和全面性，跟踪与目标类别相关的概率、logit 或连续分数的变化。由于硬聚类通常只提供离散的聚类标识符，这些指标缺乏其标准计算所需的连续输出。

然而，当聚类模型提供隶属度、后验概率、似然或其他连续分配分数时，它们仍可以被调整。原型距离也可以被考虑，前提是其与分配机制的关系被明确证明 [48, 112]。这种调整需要额外的验证。用于替代类别分数的量必须有意义地代表模型的分配机制。调整后的解释指标还应与评估划分本身的指标保持区别。

总的来说，解释质量应通过保真度、鲁棒性、复杂性、稳定性和以人为中心的实用性等标准来评估。然而，其中几个标准仍然依赖于参考划分、专家知识或用户判断。这凸显了为可解释聚类建立更标准化的无监督评估协议的必要性。

5. 挑战与未来方向

监管发展加强了对人工智能系统透明度和可解释性的重视。GDPR 引发了关于个人是否以及在多大程度上应获得自动化决策解释的持续辩论 [118]。欧盟人工智能法案通过引入旨在支持人工智能系统的解释、监督和适当使用的透明度要求，扩展了这一监管重点 [51, 94]。尽管这些法规没有规定单一的技术解释形式，但它们强化了对人工智能系统的需求，即其输出能够被预期用户检查和评估。在可解释聚类中，这一背景推动了三个互补的研究方向：解决当前的方法论挑战、开发专门适配聚类的更多 XAI 方法，以及利用人工智能的最新进展。

5.1. 当前研究挑战

未来关于聚类可解释性的工作将需要继续解决两个主要挑战。

解释的评估仍然是第一个主要挑战，因为没有单一标准能够捕捉解释质量的所有维度。视觉和定性评估可能是主观的，而纯技术度量不一定考虑预期用户的专业知识、目标和需求 [30, 69]。解释形式的多样性进一步使通用评估协议的定义复杂化，并限制了方法之间的直接比较 [90]。这一困难在聚类中尤为突出，因为通常既没有预定义标签，也没有参考解释。因此，评估协议应分别评估聚类质量和解释质量，同时检查划分和所得解释的稳定性。解释质量应通过保真度、结构复杂性、鲁棒性以及对最终用户和领域专家的有用性等标准来评估 [95]。开发考虑本文所讨论复杂性因素的基准或其他标准化评估协议，将是聚类可解释性领域以及更广泛的 XAI 领域中一个特别有趣的研究方向。

计算可处理性和算法复杂性构成第二个主要挑战。一些 XAI 技术为每个观测值生成单独的解释，这可能限制其在大数据集或实时设置中的应用 [27, 90]。在基于树的可解释聚类中，构建划分的可解释表示引入了一个额外的优化问题，并在聚类质量、解释简单性和计算成本之间产生了权衡 [70, 83, 93]。对于这些公式，当计算最优可解释划分变得不可行时，近似算法提供了一种实用的替代方案 [22, 39, 45]。解释的大小也影响这种权衡。更大或更深的树可能更忠实地再现原始划分，但它们增加了构建成本，并且通常更难以检查 [70, 84]。因此，未来展示可扩展性评估的工作不仅应报告执行时间，还应报告内存消耗、解释大小，以及由计算简化引起的任何聚类质量或解释保真度的损失。

5.2. 面向聚类的进一步 XAI 方法

本工作采用的以数据为中心的方法强调了开发新方法的必要性，这些方法用于解释特定于某些模态和/或产生特定形式解释的聚类。迄今为止主要在监督式背景下研究的某些方法和策略也可以被调整来解释聚类算法。

针对特定输入数据类型量身定制的方法在所审查的语料库中仍然代表性不均。正如第 3.4 节所总结的，现有方法更频繁地针对表格数据或任意向量数据设计，而相对较少的方法明确考虑图、时间序列、多模态或多视图结构。这些设置需要保留聚类结果所依赖的组织的解释目标。对于图数据，解释可以识别有影响力的节点、边、子图或结构属性，同时保留聚类结果所依赖的拓扑结构 [44, 110]。对于时间序列数据，解释可以突出表征聚类的区间、重复模式、时间特征或代表性后续序列 [16, 17]。在多模态和多视图聚类中，解释应区分每个模态或视图的贡献，并指出可用来源是否为聚类分配提供互补或冲突的证据 [47, 62]。否则，结构不可知的解释可能会掩盖产生该划分的关系、时间或跨视图模式。

除了特定于数据的解释目标之外，可解释性还应扩展到决定最终划分的中间阶段。预处理、表示学习、参数选择和聚类构建都可能修改最终呈现给用户的模式 [38, 97]。因此，仅解释最终划分可能会掩盖所观察到的分组是源于数据还是源于中间建模选择。

针对数据和分析目标量身定制的解释形式构成第二个研究方向。自然语言描述可以为文本聚类提供可读的摘要或原型 [18, 33]，而基于概念的解释可以将图像聚类与高层视觉概念联系起来，而不是与难以解释的潜在维度联系起来 [103]。对于混合观测数据，显式因果模型可以支持区分观察到的关联与假设的因果关系的解释，前提是底层因果假设被明确陈述和证明 [73]。决策树、符号规则和特征归因方法不应默认被解释为因果解释，因为它们通常描述预测性或关联性关系，除非它们被嵌入到明确的因果框架中。基于知识的解释同样可以通过本体、知识图谱、语义三元组或专家规则将聚类与领域概念联系起来 [13, 44, 108]。然而，这些解释形式必须适应无监督设置，因为在该设置中既没有目标类别，也没有预定义的输出语义可用。

来自通用 XAI 的可迁移性提供了新方法的第三个来源。在本调查所审查的语料库中，论证式、视觉和基于注意力的解释出现频率低于（或甚至完全没有）基于特征、基于规则或基于树的解释。尽管如此，通用 XAI 研究提供了已建立的框架，可以从中开发特定于聚类的调整 [29, 69]。例如，论证式解释可以同时呈现支持将某个观测值分配给一个聚类的证据，以及将其与一个合理替代聚类联系起来的证据。迁移此类技术并非易事，因为聚类不与预定义类别相关联，其含义取决于所选的表示、距离度量和聚类目标。因此，未来工作应确定通用 XAI 技术的哪些组件可以保留，哪些需要特定于聚类的保真度、对比度和解释目标定义。

5.3. 来自人工智能近期进展的机遇

人工智能领域的最新进展为聚类可解释性的未来研究提供了另一个机遇来源。

大语言模型为可解释聚类创造了机遇，其范围超越了自然语言描述的生成 [12, 61, 101, 133]。许多当前的 XAI 方法产生的解释具有预定义的词汇、结构和技术细节水平。大语言模型则可以根据不同用户的专业知识和目标，重新表述相同的聚类特征，从简洁的领域导向描述到更具技术性的特征贡献和聚类边界说明。它们还可以生成逐步的推理依据，或通过思维链和思维树策略探索多种候选推理路径 [120, 126]。这些输出并不等同于决策树解释：它们的形式约束较少，不应默认被视为忠实的 [116]。因此，一个相关的研究方向是将大语言模型生成的推理依据转化为明确的规则、树或论证结构，并专门针对分析人员的不同专业水平进行定制，使其可以被检查和验证。

大语言模型还可以通过“大语言模型作为评判者”的协议来支持解释评估，例如通过应用预定义的评分标准、分析开放式回答，或协助进行定性访谈 [131]。此类评估应被视为辅助评估，而不是人类或领域专家判断的替代品。其可靠性应在不同的提示表述、模型选择、模型版本和潜在系统性偏差中进行检验。重要的开放性问题涉及哪些提示、基础 grounding 和验证条件能够产生忠实且有用的解释，以及幻觉、输出不稳定性和基础不足如何影响其可靠性 [78]。

神经符号和混合人工智能方法为更深层聚类的更可检查形式提供了一条可能的路径。深度聚类联合学习非线性表示和聚类结构，这支持对复杂和高维数据的分析，但也可能使产生的潜在空间难以解释 [132]。将神经表示学习与符号概念、逻辑规则、约束或领域知识相结合，可以在保留建模能力的同时，使聚类构建过程的部分内容变得明确 [4, 129]。关于可解释神经聚类和神经符号文本聚类的现有工作为这种融合提供了初步示例 [4, 102]。这些发展可能导致新的聚类中方法，其中可解释性被纳入模型，而不是在划分产生之后才添加。混合方法还可以与显式因果模型相结合，以区分仅仅与聚类相关的变量和为其解释提供更强支持的潜在因果依赖关系 [73]。然而，符号组件的存在本身并不确立因果关系：因果解释需要明确的因果模型、识别假设，以及适应预期领域的评估协议。更一般地说，符号组件并不自动保证解释对用户是可理解或有用的。因此，一个核心研究问题是：增加的模型透明度是否足够，还是仍然需要一个额外的解释层 [129]。

不确定性感知的解释不仅应传达支持聚类解释的信息，还应传达与该解释相关的不确定性 [26, 76, 87]。这既需要适用于多种模型和解释形式的通用框架，也需要利用特定解释技术结构的专门方法 [36, 87]。通用框架提供更广泛的适用性，但可能忽略方法特定的变异来源，而专门方法可以提供更有针对性的不确定性估计，但代价是范围更窄。解释稳定性在聚类中尤其相关，因为特征重要性、原型、规则或树路径可能因数据样本、模型初始化、参数设置或替代模型实例而变化。因此，一个解释可能对某一次执行高度忠实，但仍然太不稳定，无法支持可复现的解释。在可复现性很重要的应用中，一个不太忠实但更稳定的解释可能更可取，尽管这种权衡必须通过经验评估而不是假设。未来研究应区分来自数据采样、表示选择、聚类算法、初始化和参数设置的不确定性，与由解释程序本身引入的不确定性 [36, 76]。

6. 结论

本调查对 61 篇关于可解释聚类的方法论论文进行了以数据为中心的综合，根据所审查方法处理的数据类型（模态）以及它们产生的主要解释形式来组织这些方法。在所审查的语料库中，大多数方法关注表格数据或任意向量数据，而结构化和异构模态的代表性仍然较低。尽管如此，所审查的方法仍然涵盖了广泛的解释输出，包括基于决策树的、基于规则的、基于原型的、基于特征的、几何或基于区域的、基于描述或模式的、基于可视化的，以及基于过程的解释。

该综述还表明，聚类质量和解释质量应被视为不同的评估维度并分别报告。仅靠聚类指标并不能确定一个解释是否忠实地代表了划分、在合理变化下是否保持稳定，或者是否提供了对其预期用户可理解且有用的信息。因此，评估协议应将划分质量与解释保真度、复杂性、稳定性、鲁棒性以及对预期用户和领域专家的有用性区分开来。

未来研究可以围绕三个互补的方向进行组织：解决可解释聚类尚未解决的方法论挑战、开发更多专门适配聚类的 XAI 方法，以及利用人工智能的近期进展来改进解释的生成、评估和可靠性。沿着这些方向取得的进展应支持开发出忠于底层聚类、在合理变化下保持稳定，并且对其预期用户和应用背景有意义的解释。

原文链接：https://hal.science/hal-05719111v1/file/main.pdf