分层稀疏编码的近端方法
摘要：稀疏编码是将信号表示为从字典中选择的原子的稀疏线性组合。本文考虑了这一框架的扩展，其中假设原子进一步嵌入在树中。这是通过使用最近引入的树结构稀疏正则化范数实现的，该范数在几个应用中已被证明是有用的。这个范数导致了难以优化的正则化问题，我们在本文中提出了有效的算法来解决这些问题。具体而言，我们证明了与这个范数相关联的近端算子可以通过一个可以看作是基本近端算子的组合来精确计算。我们的方法在原子的数量上具有线性或接近线性的复杂度，并且可以使用加速梯度技术来解决树结构稀疏逼近问题，其计算成本与传统使用L1范数的方法相同。我们的方法高效，并且可以在数百万个变量的情况下进行扩展，我们在两种类型的应用中进行了说明：首先，我们考虑了固定的基于小波的分层字典来去噪自然图像。然后，我们在字典学习的背景下应用了我们的优化工具，其中学习到的字典元素自然地组织成预定义的树形结构，在自然图像块的重建中表现出更好的性能。当应用于文本文档时，我们的方法学习到了主题的层次结构，因此提供了与概率主题模型竞争的替代方法。
作者：Rodolphe Jenatton (INRIA Paris - Rocquencourt, LIENS), Julien Mairal (INRIA Paris - Rocquencourt, LIENS), Guillaume Obozinski (INRIA Paris - Rocquencourt, LIENS), Francis Bach (INRIA Paris - Rocquencourt, LIENS)
论文ID：1009.2139
分类：Machine Learning
分类简称：stat.ML
提交时间：2011-08-18