稀疏变量选择在线性回归中的穷尽搜索
摘要：线性回归中的变量选择问题中，我们提出了一种K稀疏穷举搜索（ES-K）方法和一种K稀疏近似穷举搜索方法（AES-K）。利用这些方法，假设最佳的解释变量组合是K稀疏的，我们对变量的K稀疏组合进行穷举测试。通过收集ES-K的穷举计算结果，我们可以将选择稀疏变量的各种近似方法总结为状态密度。利用这个状态密度，我们可以比较不同的选择稀疏变量方法，如弛豫和采样。对于解释变量组合爆炸性增长对问题的大问题，AES-K方法允许通过使用复制交换蒙特卡罗方法和多重直方图方法有效地重建状态密度。将ES-K和AES-K方法应用于Ia型超新星数据，我们验证了在给定适当的K之前天文学中的常规理解。然而，我们发现确定K值的困难是由于数据短缺引起的。通过虚拟测量和分析，我们认为这是由于数据短缺引起的。
作者：Yasuhiko Igarashi, Hikaru Takenaka, Yoshinori Nakanishi-Ohno, Makoto Uemura, Shiro Ikeda and Masato Okada
论文ID：1707.02050
分类：Machine Learning
分类简称：stat.ML
提交时间：2018-04-18