0/1 深度神经网络的块坐标下降方法
摘要：使用阶跃函数作为深度神经网络（DNNs）的激活函数是最简单和最自然的之一。尽管存在大量关于使用连续激活函数设计DNNs的工作，但阶跃函数仍具有一些优点，如对异常值具有完全的鲁棒性和能够获得最佳的学习理论保证的预测准确性。因此，本文旨在使用阶跃函数作为激活函数（称为0/1 DNNs）训练DNNs。首先，我们将0/1 DNNs重新定义为无约束优化问题，然后通过块坐标下降（BCD）方法解决它。此外，我们还获得了BCD子问题的闭式解及其收敛性质。此外，我们还将$ell\_{2,0}$正则化整合到0/1 DNN中，以加速训练过程并压缩网络规模。结果表明，所提出的算法在对MNIST和Fashion-MNIST数据集进行分类方面表现出良好的性能。此外，所提出的算法在对MNIST、FashionMNIST、Cifar10和Cifar100数据集进行分类方面也具有理想的性能。
作者：Hui Zhang, Shenglong Zhou, Geoffrey Ye Li, Naihua Xiu
论文ID：2206.09379
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-09-01