超稀疏最优聚合
摘要：超稀疏聚合问题的最优算法 Hin本文中，我们考虑“超稀疏聚合”问题。即，给定函数字典 $F = {f\_1, ..., f\_M }$ ，我们寻找一种最优聚合算法，使得写作 $ ilde f = sum\_{j=1}^M heta\_j f\_j$ 时尽可能多地使用零系数 $ heta\_j$ 。当 $F$ 包含许多不相关的函数，这些函数不应出现在 $ ilde{f}$ 中时，这个问题尤为重要。我们给出了一个关于 $ ilde f$ 的确切的神谕不等式，其中只有两个系数是非零的，这导致 $ ilde f$ 是最优聚合算法。由于选择器是次优的聚合过程，这证明了在任何情况下构造最优聚合过程所需的 $F$ 元素最少为2。我们在使用LARS得到的字典上提供了该算法的模拟实例，用于选择LASSO的正则化参数的问题。我们还给出了聚合的一个使用示例，以在非等向Besov空间上实现小最大适应性，在之前的小最大理论中还没有得到（对于随机设计的回归）。
作者：St''ephane Ga"iffas, Guillaume Lecu''e
论文ID：0912.1618
分类：Machine Learning
分类简称：stat.ML
提交时间：2009-12-10