基于GBM的Bregman Proximal算法用于约束学习
摘要：在学习任务的复杂性不断增加的情况下，现代机器学习遇到了一种新的受限学习范式，其特点是更复杂且数据驱动的函数约束。著名的应用包括Neyman-Pearson分类 (NPC) 和公平分类，这些应用需要特定的风险约束，使得标准的基于投影的训练算法不适用。梯度提升机 (GBM) 是监督学习中最流行的算法之一，然而它们通常只限于无约束的设置。在本文中，我们将GBM调整为在Bregman近端算法框架下进行受限学习任务。当学习目标和约束函数是凸函数时，我们引入了一种具有全局最优性保证的新的Bregman原始对偶方法。在非凸函数的情况下，我们展示了我们的算法在Bregman近端点框架下仍然有效。与现有的受限学习算法不同，我们的算法具有与公开可用的GBM实现 (如XGBoost和LightGBM) 无缝集成的独特优势，仅依赖于它们的公共接口。我们提供了大量的实验证据来展示Bregman算法框架的有效性。虽然我们的主要关注点是NPC和公平机器学习，但我们的框架在更广泛的受限学习应用中具有重要的潜力。源代码目前可以在https://github.com/zhenweilin/ConstrainedGBM 上免费获取。
作者：Zhenwei Lin, Qi Deng
论文ID：2308.10767
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-22