非稀疏多核学习的快速学习率及最优正则化策略
摘要：多重核学习(MKL)的一般化错误边界及其适用于一般类正则化。我们主要研究本文的目标是包括ellp-MKL在内的密集型正则化。根据最近的数值实验，相比于稀疏型正则化，密集型正则化不一定表现出良好的性能。出于这个事实的激励，本文提供了一个通用的理论工具，以统一的方式推导出可以适用于任意混合范数型正则化的MKL的快速学习速率。这使我们能够比较各种类型正则化的泛化性能。结果显示，候选重现核希尔伯特空间(RKHS)的复杂性的同质性影响了哪种正则化策略(ell1-正则化还是密集型正则化)更受欢迎。事实上，在复杂性相同的同质性设置中，ell1-正则化在所有同向规范中是最优的。另一方面，在不同复杂性设置中，密集型正则化可以比稀疏的ell1-正则化展示更好的学习速率。我们还表明，在同质复杂性设置中，我们的学习速率达到了极小值下界。
作者：Taiji Suzuki
论文ID：1111.3781
分类：Machine Learning
分类简称：stat.ML
提交时间：2011-11-17