贝叶斯距离集合模型：从潜在变量到潜在投影

Bayesian Distance-to-Set Models: from Latent Variable to Latent Projection

贝叶斯距离集合模型：从潜在变量到潜在投影

https://arxiv.org/pdf/2604.10178v1

摘要

统计模型通常假设数据生成于某个结构化、光滑或低维集合附近。一种常见的方法是使用贝叶斯潜变量模型，其中每个观测值都与该集合上的一个潜在坐标相关联，而观测数据则被建模为这些坐标的含噪偏离。这种偏离通常由位置-尺度分布（如高斯分布）来刻画。尽管潜变量模型具有直观吸引力和广泛的应用，但其后验计算常常面临实际挑战。特别是，马尔可夫链蒙特卡洛采样器可能遭遇混合缓慢的问题，尤其是在样本量较大且无法闭式积分掉潜在坐标的情况下。在本文中，我们提出了一种替代方法，即将“偏离坐标”替换为“到集合的距离”。具体地，到集合的距离定义为数据点与其在集合上投影之间的距离，其中投影可通过优化快速计算，并在似然中替代潜在坐标。这一改变大幅降低了参数×潜变量空间的维度，从而实现了高效的后验计算。我们为到集合的距离模型建立了若干重要的统计性质，例如法锥噪声与固定效应参数之间的独立性、后验相合性，以及一种自动惩罚过拟合的奥卡姆剃刀效应。我们通过模拟研究、多环境研究应用和贝叶斯迁移学习应用，展示了该方法的有效性。

本文模型的实现源代码可在 https://github.com/leoduan/distance-to-set-models获取。

关键词：条件相依潜变量，基于优化的似然，投影对偶性，迁移学习中的不确定性。

1 引言

潜变量模型是统计学和机器学习中的核心工具，典型例子包括有限混合模型、随机效应模型、网络模型和因子模型（Fraley and Raftery, 2002; Hoff et al., 2002; Dunson, 2006）。这些模型引入潜变量以捕捉数据生成机制中的某些结构。

2 方法 2.1 到集合的距离模型

从上一个例子推广开来，我们强调这种到集合的距离公式的三个有用特征。第一，它绕开了对潜在坐标进行采样的需要。相反，对于每个观测值，它计算一个投影：

2.2 潜在投影及其偏差的生成视角

我们现在通过引入潜在投影及其偏差的生成视角来完成贝叶斯观点的构建。这样做的目的是阐明投影的概率意义，以及由到集合的距离公式所诱导的约束残差结构。

2.3 集合平移参数与偏差之间的独立性

2.4 归一化常数与隐式集合大小正则化

到集合的距离似然为那些更靠近的观测值赋予更高的密度。由于给定一组观测值时，距离会随着集合的扩大而减小，因此更大的集合通常会提供更好的拟合。

2.5 先验设定策略

对于由 (2) 独立同分布生成的数据，后验可以写为：

3 Computation 计算

4 集合参数恢复的后验相合性

在本节中，我们进行理论分析，建立后验相合性的充分条件，特别是针对集合参数 θ θ的恢复。关于后验相合性已有大量文献（Schwartz, 1965; Barron et al., 1999; Walker et al., 2007; Ghosal et al., 2000），其中包括数据在独立但非同分布设定下生成的情形（Ghosh and Ramamoorthi, 2003; Ghosal and Van Der Vaart, 2007）。然而，在我们的设定中，一个主要挑战是到集合的距离模型所诱导的似然可能无法在数据索引 i i上分解。因此，标准设定下的常规相合性条件不能直接应用，并且必须显式处理归一化常数的作用。

5 使用多环境研究数据的实证研究

在本节中，我们使用一个真实数据集来基准测试我们的到集合的距离模型的计算性能。额外的模拟实验及其细节见补充材料。

在许多应用中，研究人员感兴趣的是某个效应是否在多个环境中具有广泛的泛化性。例子包括跨不同地区的政策评估（Andrews et al., 2022）、跨不同学校的教育干预，以及跨产品或用户群体的大规模实验。在这类问题中，完全不变性通常过于严格，而不加任何约束的按环境建模可能会掩盖共享结构。到集合的距离框架提供了一个自然的中间地带：它将泛化性表述为围绕共享全局参数的结构化邻域。在这个意义上，它与混合效应公式密切相关，后者将效应分解为一个公共成分加上环境特定的随机偏离。关键区别在于解释性：我们不将这些偏离视为从某个分布中抽取的随机效应并通过方差分量来总结这种异质性，而是将它们建模为对精确泛化基线的偏离，因此半径参数 r r衡量了需要多大程度的偏离基准才能充分解释数据。因此， r r作为泛化程度的一个直接且可解释的汇总度量。

5.1 模型设定

我们关注数学成绩，并将模型设定为

5.2 可推广性仿真研究

5.3 在学生-教师成就比率（STAR）数据集上的应用

6 在迁移学习中的应用

在这里，源估计受到目标数据的严重影响，这是不希望的。

6.1 通过距离-椭球模型进行贝叶斯迁移学习

相反，我们可以将目标模型建模为距离-集合模型，如下所示：

6.2 贝叶斯迁移学习仿真

6.3 在点击率预测中的应用

最后，我们将迁移学习应用于在线广告中的点击率（CTR）预测问题。准确的用户级CTR估计对于竞价、预算分配和广告活动优化至关重要，但不同广告活动之间的数据可用性往往差异很大。一个规模较大、成熟的广告活动可能收集了数千次展示记录，而一个新推出的或小众的广告活动通常观测数据要少得多，这使得可靠估计颇具挑战性。迁移学习提供了一个原则性的框架，只要两个广告活动共享共同的特征空间且回归系数具有合理的相似性，就可以利用数据丰富的源广告活动中的信息来改进数据稀缺的目标广告活动中的推断。

我们使用5折交叉验证来评估不同估计量的预测性能（训练集包含160个受试者，测试集包含40个受试者）。图8展示了预测均方根误差（RMSE）的箱线图。值得注意的是，直接应用源系数在目标数据上表现不佳，平均RMSE为2.03（比其他三种方法差三倍以上），因此我们不在图中显示该结果。这突显了广告活动之间的显著差异，以及不加调整的全迁移的不足。相比之下，距离-集合迁移模型在所有方法中实现了最低的平均RMSE（0.580），并且在各折间的标准差也最低（0.063），表明其样本外预测最为稳定。仅使用目标数据的OLS估计量的平均RMSE为0.606，标准差为0.053。迁移LASSO的平均RMSE为0.585，标准差为0.066，并且它在所有折中均从源迁移了19个特征，仅对key value 6和key value 7进行了调整。这些结果表明，距离-集合模型不仅在平均预测精度上表现出色，而且在各折间提供了更稳定的性能。

7 讨论

原文链接：https://arxiv.org/html/2604.10178v1