神经网络回归的连续优化基准套件
摘要：使用神经网络训练的优化任务已经在最近深度学习的成功中得到了重视。尽管进化算法已经被用于神经网络的训练，但是梯度下降的变体远远是大规模机器学习任务中最常见的选择，因为它们在性能上表现良好。在本文中，我们介绍了CORNN（使用神经网络进行回归任务的连续优化），这是一个用于基准测试任何连续黑盒算法在神经网络训练问题上表现的大型套件。使用各种回归问题和神经网络架构，可以创建具有不同维度和难度级别的问题实例。我们通过比较三种进化算法和基于群体的算法在300多个问题实例上的性能来演示CORNN Suite的使用，显示了算法之间性能互补性的证据。作为基线，最佳基于群体的算法的性能与基于梯度的方法进行了基准测试。CORNN套件作为一个公共网络存储库共享，以便与现有的基准测试平台轻松集成。
作者：Katherine M. Malan and Christopher W. Cleghorn
论文ID：2109.05606
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2022-09-07