稳健贝叶斯聚类

稳健贝叶斯聚类 Robust Bayesian clustering

http://www0.cs.ucl.ac.uk/staff/C.Archambeau/publ/nn_ca07_web.pdf

摘要

本文介绍了一种新的用于Student-t混合模型的变分贝叶斯学习算法。该算法实现了（i）稳健密度估计，（ii）稳健聚类以及（iii）稳健自动模型选择。高斯混合模型是基于分而治之方法的学习机器。它们通常用于密度估计和聚类任务，但对离群点敏感。Student-t分布比高斯分布具有更重的尾部，因此对经验分布偏离高斯性的任何情况都不太敏感。因此，Student-t分布适用于构建稳健混合模型。在这项工作中，我们以不同于Svensén和Bishop（2004）的方式将贝叶斯Student-t混合模型形式化为潜变量模型。主要区别在于，为了获得可处理的解，不需要假设潜指示变量和潜尺度变量上后验分布的因子化近似。不忽略这些未观测随机变量之间的相关性，导致贝叶斯模型具有更高的稳健性。此外，预计对数证据的下界更紧。基于该下界，可以以更高的置信度推断模型复杂度，即混合模型中分量的数量。

关键词：贝叶斯学习，图模型，近似推断，变分推断，混合模型，密度估计，聚类，模型选择，student-t分布，对离群点的稳健性

1 引言

概率密度估计是提取原始数据中所嵌入信息的基本工具。例如，高效且稳健的密度估计器是贝叶斯（即最优）分类和统计模式识别的基础。有限高斯混合模型（GMM）在这种情况下被普遍使用（例如参见McLachlan和Peel，2000）。它们为非参数密度估计器（Parzen，1962）提供了一种有吸引力的替代方案，因为它们也不假设潜在密度的整体形状。然而，与非参数技术不同，它们基于分而治之的方法，这意味着观测数据的子群体由参数分布建模，由此得到的密度通常远离任何标准参数形式。因此，与非参数方法不同，模型的复杂度是预先固定的，避免了参数数量随数据集规模而出现令人望而却步的增长。

尽管如此，GMM 的一个主要局限是它缺乏对离群点的稳健性。在许多实际问题中，为异常数据提供稳健性是至关重要的，因为均值和精度（即逆协方差矩阵）的估计可能会受到非典型观测的严重影响。此外，在 GMM 的情况下，离群点的存在或经验分布偏离高斯性的任何其他情况，都可能导致选择错误的模型复杂度。更具体地说，额外的分量被用来（并且需要）捕捉分布的尾部。稳健性可以通过将高斯分布嵌入更广泛的椭圆对称分布类（称为 Student-t 分布）来引入。它们为高斯族提供了一种重尾的替代方案。Student-t 分布定义如下：

在混合建模的背景下，“责任”（responsibilities）起着至关重要的作用。每一个这样的量都同时与一个数据点和一个混合分量相关联。它对应于某个特定数据点由某个特定混合分量生成的后验概率。换句话说，责任是数据的软标签。在训练阶段，这些标签被用来估计模型参数。因此，可靠地估计它们至关重要，尤其是在考虑稳健方法时。在本文中，我们为有限混合模型（属于指数族）引入了一种替代的稳健贝叶斯范式，它专注于这一特定问题。一般来说，实现稳健性的一种方法是避免进行不必要的近似。在贝叶斯框架中，这意味着随机变量之间的依赖关系不应被忽略，因为

忽略它们会导致低估不确定性。在先前构建稳健贝叶斯混合模型的尝试中，假设了所有潜变量之间是独立的。然而，我们表明这一假设并非必要；去掉它会导致责任（responsibilities）的估计更加一致。

本文组织如下。在第2节中，贝叶斯 Student-t 混合模型被形式化为一个潜变量模型，这使我们能够使用变分贝叶斯框架来学习模型参数，如同在共轭指数族中那样（Ghahramani 和 Beal，2001）。在第3节中，推导了变分更新规则，以及对数证据的下界。最后在第4节中，该方法通过实验得到了验证。经验表明，所提出的针对 SMM 的变分推断方案所导致的模型，比先前的方法对离群点具有更高的稳健性。这种稳健性对自动模型选择（基于变分下界）以及参数估计的质量都有积极影响。这些特性在解决现实生活中的问题时至关重要，因为这些问题可能非常嘈杂。

2 潜变量模型

方程（4）很容易通过注意到 Gamma 分布是高斯分布的共轭分布来验证。在这种替代表示下，Student-t 分布因此是具有相同均值但不同精度的无限高斯混合。精度的缩放因子 u 服从 Gamma 分布，其参数仅依赖于 ν 。与高斯分布相比，基于极大似然原理估计单个 Student-t 分布的参数不存在闭式解。然而，正如 Liu 和 Rubin（1995）所讨论的，通过将 u 视为一个隐式潜变量并对其施加 Gamma 先验，EM 算法可用于找到一个近似的 ML 解。这一结果被 Peel 和 McLachlan（2000）扩展到了 Student-t 分布的混合。

3 用于 SMM 的变分贝叶斯推断

贝叶斯学习的目标是计算（或近似）证据。这个量是通过对潜变量和参数进行积分消除而获得的。对于 SMM 的固定模型结构，证据由下式给出

这个方程类似于一个加权 Student-t 分布（它是缩放高斯分布的无限混合）。
Svensén 和 Bishop（2004）得到的相应 VBE 步骤具有单个加权高斯分布的形式，其精度被缩放，缩放量是相关尺度变量的期望值：

因此，这里假设每个尺度变量的后验分布的大部分概率质量都位于其均值附近。这对于所有数据点来说未必成立，因为 Gamma 先验可能高度偏斜。相比之下，（19）是通过对尺度变量进行积分消除而得到的，这里的尺度变量是冗余参数（nuisance parameters）：

这些量在形式上类似于 ML 学习中 E 步计算出的责任（例如参见 McLachlan 和 Peel，2000）。

其次，由于尺度变量上的 Gamma 先验共轭于指数族，以指示变量为条件的尺度变量上的变分后验也具有 Gamma 分布的形式。将（18）代入（15）并重新整理，得到尺度变量的 VBE 步骤：

尺度变量的 VBE 步骤仅仅在于更新这些超参数。同样，与 ML 学习中相应的 E 步有着惊人的相似性（参见 Peel 和 McLachlan，2000）。

接下来，让我们计算 VBM 步骤。期望的完全数据对数似然由下式给出

其中（大部分）辅助变量对应于 ML 学习中 M 步所计算的量：

值得一提的是，协方差矩阵的归一化因子——这里是通过自动方式获得的——正是 Kent、Tyler 和 Vardi（1994）为了加速普通 EM 算法的收敛而提出的那个归一化因子。

最后，由于没有对自由度施加先验，我们通过最大化期望完全数据对数似然来更新它们。这导致了与 Peel 和 McLachlan（2000）所得到的相同的 M 步：

在每次迭代中，对于每个分量，该不动点都可以通过线搜索轻松找到。相比之下，Shoham（2002）提出改用近似公式。

为了结束我们的讨论，我们给出变分下界的表达式：

注意，最后两项对应于变分分布的熵。给定后验的函数形式，下界的每一项都可以计算（见附录）。由于贝叶斯方法考虑了模型参数的不确定性，并且由于在学习过程中下界被尽可能收紧，因此它可以被用作模型选择准则。

4 实验结果与讨论

在本节中，研究了用于 SMM 的变分贝叶斯学习算法的稳健性。首先，我们表明这种新算法使我们能够基于变分下界执行稳健的自动模型选择。其次，我们关注稳健聚类以及参数估计的质量。最后，给出了一些经验证据，以解释为什么所提出的算法比以前的方法表现更好。

4.1 稳健自动模型选择

在研究所提出方法与先前方法相比的性能之前，让我们首先在一个玩具示例上说明模型选择过程。考虑一个由三个多变量高斯分布组成的混合，其参数如下：

从每个分量中抽取一百五十个数据点（因此每个分量等可能）。图2中展示了两个训练集示例。第一个不包含离群点，而第二个是相同的数据但增加了25%的离群点。这些离群点是从特征空间每个方向上的区间 [ − 20 , 20 ] 上的均匀分布中抽取的。图3显示了在存在和不存在离群点的情况下，贝叶斯高斯混合模型（GMM）和贝叶斯 Student-t 混合模型（SMM）的变分下界。变分贝叶斯算法运行10次。因此，图3中的曲线是平均值。模型复杂度 M M的范围从1到5个分量。当没有离群点时，GMM 和 SMM 表现相似。两种方法都选择了正确的分量数，即3。相比之下，当存在非典型观测时，只有 SMM 选择了正确的分量数。

接下来，让我们考虑著名的 Old Faithful Geyser 数据。该数据是喷发持续时间与连续喷发之间等待时间的记录。在实验中，数据被归一化，然后被一定数量的离群点污染。后者是在特征空间每个方向上的区间 [ − 10 , 10 ] 上均匀生成的。图4(a)显示了 GMM、type-1 SMM（假设指示变量和尺度变量上的变分后验是因子化的，Svensén 和 Bishop，2004）以及 type-2 SMM（不做此假设）的变分下界。分量数量从1变化到6。对于每个模型复杂度，考虑20次运行。注意，在某些情况下，当分量没有足够支持时，它们会被自动剪枝掉。在不存在离群点的情况下，三种方法的下界在两个分量时达到最大。在存在2%离群点的情况下，type-1 SMM 的下界在两个和三个分量时几乎具有相同的值。Svensén 和 Bishop（2004）也观察到了这一点。对于 type-2 SMM，下界仍然在两个分量时达到最大。然而 GMM 偏好3个分量。当噪声量进一步增加（25%）时，只有 type-2 SMM 选择了2个分量。事实上，下界的值似乎几乎不受噪声进一步增加的影响。因此，不忽略指示变量和尺度变量之间的相关性，明显增加了

稳健性。在 Enzyme 数据上也观察到了类似的行为（Richardson 和 Green，1997）。结果展示在图4中。

在实践中，type-2 SMM 如预期的那样受离群点影响较小。然而，并非总能观察到更紧的下界，但该下界似乎比 type-1 SMM 在多次运行之间更稳定。这表明 type-2 SMM 对目标函数中的局部极大值不太敏感。

4.2 稳健聚类

接下来，我们再次考虑 Old Faithful Geyser 数据。目的是说明 type-2 SMM 的参数估计对离群点不太敏感。图6显示了在存在和不存在离群点的情况下两个分量的均值位置。椭圆对应于单个标准差。可以很容易地观察到，在 type-2 SMM 的情况下，均值和精度的估计受离群点影响较小。

4.3 潜变量后验因子化的影响

如前所述，type-1 SMM 假设潜指示变量和潜尺度变量上的变分后验是因子化的，以及分量均值和精度上的先验也是因子化的。然而，我们已在第3节中证明，这些因子化并非必要。特别是，考虑指示变量和尺度变量之间的相关性，会导致一个具有（i）对非典型观测的稳健性增加以及（ii）对数证据下界更紧的模型。

从（32-35）可以观察到，责任在分量参数的估计中起着至关重要的作用。因此，在考虑稳健混合模型时，准确的估计是强制性的。如第3节所示，当我们假设尺度变量条件依赖于指示变量（type-2 SMM）时，我们最终得到以下形式的责任：

Student-t 是缩放高斯分布的无限混合，并且尺度上的先验被假设为 Gamma 分布。显然，在通过（39）估计责任时，尺度变量上的不确定性被明确考虑，因为尺度变量（在这里可视为冗余参数）被积分消除了。

相比之下，Svensén 和 Bishop（2004）忽略了尺度变量和指示变量之间的依赖关系（type-1 SMM），因此发现了以下形式的责任：

其中尺度等于。因此，在这种方法中，我们发现每个数据点被假设为从单个高斯分布生成，其协方差矩阵被缩放。换句话说，假设相应尺度变量的后验分布高度集中在其均值附近，因此均值是尺度的良好估计。当然，这对于所有数据点并不成立。

在图7中，展示了单个数据点 x n 的典型变分后验。可以观察到，type-1 SMM 将概率质量几乎完全分配给一个分量（这里是分量 m = 2 ），并且该分量的后验比 type-2 SMM 的后验更集中。这表明，当假设尺度变量独立于指示变量时，经验方差被（更加）低估。由于不确定性被低估，模型的稳健性被降低。这在实验中也观察到了。

获得更紧且更可靠的变分下界也很重要。当使用下界作为模型选择准则时，隐含地假设在对不同复杂度的模型收敛后，对数证据与下界之间的差距是相同的。一般来说，这并不成立。通常，变分贝叶斯推断倾向于过度惩罚复杂模型，因为因子化近似导致后验比真实后验更紧凑（即更简单）。这可以通过看到最大化下界是通过最小化变分后验与真实后验之间的 KL 散度来完成的来理解。然而，KL 散度是相对于变分分布的支持集取的，而不是相对于真实后验的支持集取的。因此，最优变分后验低估了潜变量与参数之间的相关性，进而导致联合后验的近似

更加集中。现在，type-1 SMM 做出了额外的假设，即潜变量上的分布也是因子化的。结果是，与 type-2 SMM 相比，type-1 SMM 做出了额外的近似，使得近似后验甚至更加紧凑。在实践中，这例如取决于初始化，会导致下界的估计不太可靠（见图4）。

5 结论

在本文中，我们推导了用于贝叶斯 Student-t 分布混合的新的变分更新规则。我们证明了不需要假设指示变量和尺度变量上的变分后验是因子化的。考虑这些潜变量之间的相关性，会导致变分后验比先前方法得到的变分后验更不紧凑；因此，它较少低估潜变量中的不确定性。尽管由此得到的下界并不总是更紧，但正确的模型复杂度是以更一致的方式选择的，因为它对目标函数的局部极大值不太敏感。最后，实验表明，由此得到的模型对离群点不太敏感，这在实际中导致了非常稳健的混合建模。

原文链接：http://www0.cs.ucl.ac.uk/staff/C.Archambeau/publ/nn_ca07_web.pdf