CMA轻量级：一种用于大规模非凸有限和优化的新型小批量算法
摘要：基于给定数据集的深度神经网络的监督训练包括对连续可微函数的无约束最小化求和，这些函数通常被称为损失函数。这些函数依赖于网络参数，并且大多数情况下是非凸的。我们开发了一种新的全局收敛的小批量梯度方法CMA Light来解决这个问题。我们考虑了最近引入的控制小批量算法（CMA）框架，并克服了其主要瓶颈，消除了每次迭代至少需要一个完整目标函数评估的需求。我们在适度假设下证明了CMA Light的全局收敛性，并在与CMA相同的实验测试系统上进行了广泛的计算结果讨论，显示CMA Light所需的计算工作量比大多数最先进的优化器要少。最后，我们介绍了一项大规模图像分类任务的初步结果。
作者：Corrado Coppola, Giampaolo Liuzzi, Laura Palagi
论文ID：2307.15775
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-08-01