汇集概率分布与部分信息分解
摘要：多年来，人们一直试图通过定义协同作用、冗余和独特信息来构建多个变量的部分信息分解（PID），但对于如何准确定义这些量没有共识。本文的目的是说明这种模糊性，或者更积极地说，选择的自由是如何产生的。使用信息等于从初始概率分布到最终概率分布时的平均不确定性减少的基本思想，协同信息也将被定义为两个熵之间的差异。一个术语是无争议的，它描述了源变量共同对目标变量varT的“整体”信息。然后，另一个术语旨在描述“部分之和”所携带的信息。在这里，我们将该概念解释为需要从多个边缘分布（部分）聚合（“汇总”）的合适概率分布。在汇总两个（或更多）概率分布的最佳方式的定义中存在模糊性。无论最佳汇总的确切定义如何，汇总的概念都会导致一个与常用的基于冗余的格子不同的格子。可以将与每个格点关联的不仅仅是一个数字（平均熵），而是（汇总的）概率分布。作为一个例子，本文提出了一种简单合理的汇总方法，该方法自然地导致了不同概率分布之间的重叠作为表征协同和独特信息的关键量。
作者：Steven J. van Enk
论文ID：2302.02251
分类：Data Analysis, Statistics and Probability
分类简称：physics.data-an
提交时间：2023-06-07