大规模双重惩罚ANOVA建模的块-wise原始-对偶算法
摘要：多变量非参数回归中，最近提出了双重惩罚ANOVA建模（DPAM）。在DPAM中，使用层次总变差（HTVs）和经验范数作为组件函数（如主效应和多路交互作用）的惩罚，对基础回归函数进行函数ANOVA分解。这两种惩罚起到互补的作用：HTV惩罚促进每个组件函数内基函数的稀疏选择，而经验范数惩罚则促进组件函数的稀疏选择。我们采用回溯法或块极小化方法来训练DPAM，并开发了两种合适的原始-对偶算法，包括批量和随机版本，用于在单块优化中更新每个组件函数。现有的原始-对偶算法在我们设置的HTV和经验范数惩罚方面是难以处理的。通过广泛的数值实验，我们证明了我们的随机原始-对偶算法与批量版本和先前的主动集算法相比，在大规模场景下的有效性和优势。
作者：Penghui Fu, Zhiqiang Tan
论文ID：2210.10991
分类：Computation
分类简称：stat.CO
提交时间：2022-10-21