多核学习中稀疏和密集正则化的锐速收敛率和支持一致性
摘要：多核学习的收敛速度和支持一致性（即在大样本极限下正确识别非零系数的子集）进行了理论研究。我们重点研究了使用块l1正则化（引导稀疏核组合）、块l2正则化（引导均匀核组合）和弹性网正则化（包括块l1和块l2正则化）进行的多核学习。对于真实核组合稀疏的情况，我们证明了块l1和弹性网MKL方法的收敛速度比现有的块l1 MKL方法更快。我们进一步证明了弹性网MKL方法比块l1 MKL方法需要更轻松的条件来保持一致性。对于最优核组合不完全稀疏的情况，我们证明了通过精确控制块l1和块l2正则化器之间的平衡，弹性网MKL可以实现比块l1和块l2 MKL方法更快的收敛速度。因此，我们的理论结果总体建议在MKL中使用弹性网正则化。
作者：Taiji Suzuki, Ryota Tomioka, Masashi Sugiyama
论文ID：1103.5201
分类：Machine Learning
分类简称：stat.ML
提交时间：2011-07-29