关于互信息估计
摘要：来自有限样本$（\mathcal{X} \times \mathcal{Y}）$的互信息估计是本文的重点。对于互信息估计，主要问题是它在保持不变的变换类别下的鲁棒性：即I型（坐标变换）、III型（边缘化）和IV型的特殊情况（嵌入、乘积）。不能满足这些标准的估计量在其普适性上不是鲁棒的。由于大多数机器学习任务使用的变换属于第I部分中提到的类别，互信息可以告诉我们哪些变换是最优的。文献中有几类估计方法，例如非参数估计器，如Kraskov等人开发的估计器cite{KSG}，及其改进版cite{LNC}。这些估计器非常有用，因为它们仅依赖于底层样本的几何性质，并且避免了对概率分布本身的估计。我们在设计标准的背景下探讨了这类估计器族的鲁棒性。
作者：Nicholas Carrara and Jesse Ernst
论文ID：1910.00365
分类：Data Analysis, Statistics and Probability
分类简称：physics.data-an
提交时间：2020-02-04