基因改造的狼优化算法与随机梯度下降在深度神经网络优化中的应用
摘要：使用卷积神经网络（CNNs）进行训练时，非常重视创建高效的优化算法和高精度的网络。优化网络的最先进方法是使用梯度下降算法，如随机梯度下降（SGD）。然而，使用梯度下降方法存在一些限制。其主要缺点是缺乏探索，过度依赖利用。因此，本研究旨在分析一种替代方法来优化神经网络（NN）权重，即使用基于人口的元启发式算法。探讨了灰狼优化器（GWO）和遗传算法（GA）的混合方法，与SGD结合使用，产生了用SGD提升的遗传改进灰狼优化算法（GMW-SGD）。该算法兼具开发与探索的结合，同时解决了影响标准元启发式算法性能的高维度问题。所提出的算法在CIFAR-10上进行了训练和测试，与SGD算法相比表现出色，达到了较高的测试准确率，显著优于标准元启发式算法。
作者：Manuel Bradicic, Michal Sitarz, Felix Sylvest Olesen
论文ID：2301.08950
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-01-24