布雷格曼扩展的拟牛顿更新方法 I：一个信息几何框架
摘要：从与Bregman散度相关的信息几何视角研究拟牛顿方法。Fletcher研究了一个变分问题，推导出了拟牛顿方法的近似海森矩阵更新公式。我们指出，这个变分问题与Kullback-Leibler散度的优化是相同的，Kullback-Leibler散度是两个概率分布之间的差异度量。对于多项正态分布，Kullback-Leibler散度对应于Fletcher所考虑的目标函数。我们引入Bregman散度作为Kullback-Leibler散度的扩展，并基于带有Bregman散度的变分问题推导了拓展的拟牛顿更新公式。与Kullback-Leibler散度一样，Bregman散度在正定矩阵集合上引入了信息几何结构。从几何视角出发，我们研究了近似海森矩阵的更新、更新公式的不变性属性以及稀疏拟牛顿方法。特别是，我们指出稀疏拟牛顿方法与统计方法如EM算法和提升算法密切相关。信息几何是一个有用的工具，不仅可以更好地理解拟牛顿方法，还可以设计新的更新公式。
作者：Takafumi Kanamori and Atsumi Ohara
论文ID：1010.2847
分类：Computation
分类简称：stat.CO
提交时间：2010-10-15