低维稀疏SVM与硬间隔损失：一种牛顿增广拉格朗日方法
摘要：支持向量机（SVM）研究中一直以来，硬间隔损失函数具有较强的泛化能力。另一方面，基数约束被广泛应用于特征选择，导致了稀疏解决方案。本文研究了集成了两种特点的硬间隔损失稀疏支持向量机（SSVM-HM）。然而，SSVM-HM是最具挑战性的模型之一。本文将该问题转化为具有基数约束的复合优化问题。我们通过{ m P}-稳定性特征表征其局部极小值，该特征能很好地捕捉到问题的组合结构。然后，我们提出了一种不精确近似的增广拉格朗日方法(iPAL)。{ m P}-稳定性的不同部分控制不同尺度的不精确度，使得生成的序列在全局和线性速率下收敛。这符合复合优化的最佳收敛理论。为了使iPAL实际高效，我们在iPAL子问题中提出了一个子空间中的梯度-牛顿方法。这是通过利用硬间隔损失的近似算子和基数约束的投影来检测活跃样本和特征来实现的。对模拟和真实数据集进行的大量数值实验表明，所提出的方法快速，产生高精度的稀疏解，与几个主要的求解器相比，可以有效地减少活动样本和特征。
作者：Penghe Zhang, Naihua Xiu, Hou-Duo Qi
论文ID：2307.16281
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-08-01