惩罚方法或再生核希尔伯特空间的理论与应用简化版
摘要：广为流行的三次平滑样条回归函数估计是通过最小化带惩罚的平方和$sum\_j(Y\_j - {mu}(t\_j))^2 + {lambda}int\_a^b [{mu}"(t)]^2 dt$得到的，其中数据为$t\_j,Y\_j$，$j=1,...,n$。最小化是在一个无限维函数空间中进行的，即具有平方可积二阶导数的所有函数空间。但是，计算可以在有限维空间中进行。从在无限维空间中最小化到在有限维空间中最小化的减少发生在更一般的目标函数中：数据可能以另一种方式与函数${mu}$相关联，平方和可能被更合适的表达式替代，或者惩罚项$int\_a^b [{mu}"(t)]^2 dt$可能采用不同的形式。本文回顾了再生核希尔伯特空间结构，在一般最小化问题中提供了有限维解决方案。特别关注基于线性微分算子的惩罚项。在这种情况下，有时可以使用Green函数明确计算最小化值。
作者：Nancy Heckman
论文ID：1111.1915
分类：Machine Learning
分类简称：stat.ML
提交时间：2011-11-09