森林绞索
摘要：高维线性模型的变量选择最近受到了很多关注，大多是在l1正则化的背景下进行的。其中一个吸引人之处是变量选择效果：获得了简洁的模型，非常适合解释。然而，就预测能力而言，这些正则化线性模型通常略逊于树集成等机器学习方法。另一方面，树集成通常缺乏正式的变量选择方式，且难以可视化。因此，提出了一种适用于树集成（特别是随机森林）的Garrote-style凸惩罚。该惩罚选择树中的节点功能组。这些功能组可以是单个预测变量的单调函数等简单形式。这样可以得到一个简洁的函数拟合，易于可视化和解释。预测能力至少与原始的树集成相同。该方法的一个关键特点是，一旦拟合了树集成，就不需要选择进一步的调整参数。通过在各种数据集上的实证性能展示了该方法的实际性能。
作者：Nicolai Meinshausen
论文ID：0906.3590
分类：Machine Learning
分类简称：stat.ML
提交时间：2009-06-22