因果涌现读书会丨第七期：部分信息分解与机器学习

导语

为了系统梳理因果涌现最新进展，北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起，邀请对复杂系统与涌现问题感兴趣的研究者与同好共同研读前沿文献、碰撞科研灵感。

本周开启第七季第七期，主题“部分信息分解与机器学习”。张新宇学者将从信息论与机器学习的交叉视角出发，介绍部分信息分解（PID）在多元高斯变量中的理论与计算方法。报告以 Venkatesh 与 Schamberg（2022）为核心，讨论在高维连续变量情形下如何区分冗余信息、独特信息与协同信息，并借助 Blackwell sufficiency 与 deficiency，将信息分解转化为可计算框架，同时进一步联系其在表示学习与多模态建模中的应用，回应一个关键问题：复杂模型中，不同信息源究竟是冗余、互补，还是通过协同产生新信息，从而为理解高维信息结构与因果涌现提供清晰思路。

报告简介

本报告将以 Venkatesh 与 Schamberg 2022 年论文“Partial Information Decomposition via Deficiency for Multivariate Gaussians”为核心，讨论部分信息分解，PID，如何在多元高斯场景下从理论概念转化为可计算的信息分解工具。报告聚焦该论文所解决的关键问题：当目标变量和信息源都是高维连续向量时，如何正确区分冗余信息、独特信息和协同信息。

早期 Gaussian PID 在标量目标变量下可以得到较简单的 MMI-PID 形式，但 Venkatesh 与 Schamberg 指出，这一结果不能直接推广到向量目标变量。为解决多元高斯情形下的信息分解问题，论文引入deficiency与Blackwell sufficiency，将独特信息解释为一个信息源无法通过后处理模拟另一个信息源的程度，并进一步构造出可计算的优化框架。

通过这篇论文，本报告将展示多元高斯 PID 如何为高维机器学习表示中的信息结构分析提供理论基础，并简要讨论其后续在bias correction、多模态交互分析以及 Flow-PID 等方向中的最新进展。

分享大纲

• 问题引入：互信息为什么不足以解释模态交互？

• • 互信息的局限性

  • PID如何对机器学习的数据进行刻画

• 核心挑战：为什么标量高斯PID不能直接推广到多元高斯？

• • MMI-PID: 标量高斯PID求解与局限

  • Blackwell sufficiency：信息源之间的可替代性

  • Deficiency：无法完全替代时，如何度量差距

• 计算方法：如何把多元高斯 PID 转化为可求解的问题？

• • Gaussian post-processing：如何构建一个信息源对另一个信息源的最优匹配

  • Convex deficiency approximation：如何将无限维随机后处理问题转为凸优化问题

• 最新进展：从高维多元高斯到多模态机器学习

• • 高维多元高斯 PID 与bias correction

  • 多模态交互分析

  • Flow-PID：从多元高斯PID到非高斯多模态数据

核心概念

多元高斯变量、互信息、部分信息分解（PID）、MMI-PID、Blackwell sufficiency、Deficiency、多元高斯 PID 的计算框架

主讲人介绍

主讲人：张新宇，阿尔托大学信息与通信工程在读博士生。研究兴趣包括光通信与信号处理、机器学习，信息论及相关交叉学科方向。

参考文献

[1] Venkatesh, P., & Schamberg, G. (2022). Partial Information Decomposition via Deficiency for Multivariate Gaussians. IEEE International Symposium on Information Theory (ISIT).

[2] Barrett, A. B. (2015). Exploration of synergistic and redundant information sharing in static and dynamical Gaussian systems. Physical Review E, 91, 052802.

[3] Banerjee, P. K., Olbrich, E., Jost, J., & Rauh, J. (2018). Unique Informations and Deficiencies. Allerton Conference on Communication, Control, and Computing.

[4] Venkatesh, P., Gurushankar, K., & Schamberg, G. (2023). Capturing and Interpreting Unique Information. IEEE International Symposium on Information Theory (ISIT).

[5] Venkatesh, P., Bennett, C., Gale, S., Ramirez, T. K., Heller, G., Durand, S., Olsen, S., & Mihalas, S. (2023). Gaussian Partial Information Decomposition: Bias Correction and Application to High-dimensional Data. Advances in Neural Information Processing Systems, 36.

[6] Zhao, W., Balachandran, A., Tian, C., & Liang, P. P. (2025). Partial Information Decomposition via Normalizing Flows in Latent Gaussian Distributions. In Advances in Neural Information Processing Systems, NeurIPS 2025.

时间信息

2026年5月5日（周二）上午10:00-12:00，腾讯会议线上进行，感兴趣的朋友扫码报名加入因果涌现读书会后，可进入学员群进行交流。

报名读书会：「因果涌现第七季」

为系统梳理因果涌现领域的最新进展，北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起，组织对该主题感兴趣的研究者与探索者共同研读前沿文献、交流研究思路。读书会将于2026年2月22日起每周日上午（创建读书会暂定时间为10:00-12:00）线上开展，持续约10周，包含主讲分享与讨论交流，并提供会后视频回放，诚邀相关领域研究者及跨学科兴趣者参与。

扫描海报中二维码报名参加读书会

报名方式：

第一步：微信扫码填写报名信息。

第二步：填写信息后，付费报名。如需用支付宝支付，请在PC端进入读书会页面报名支付：

第三步：添加运营助理微信，拉入对应主题的读书会社区（微信群）。

PS： 我们鼓励围绕因果涌现、复杂系统与人工智能及相关具体问题的深入探讨。为保证讨论质量，请避免发表脱离本期读书会主题、缺乏实证基础或过于空泛的哲学思辨类内容。

加入社区后可获得的资源

完整权限包括：线上问答、录播回看、资料共享、社群交流、信息同步、共创任务获取积分等。