回声状态网络中的超参数调整
摘要：回声状态网络是一种具有大量随机生成的储层和通过线性回归训练的少量读出连接的递归神经网络。储层的最常见拓扑结构是一个全连接网络，由数千个神经元组成。多年来，研究人员引入了各种替代的储层拓扑结构，例如循环网络或连接的线性路径。当比较不同的拓扑结构或其他体系结构更改的性能时，需要针对每个拓扑结构分别调整超参数，因为它们的特性可能会有很大的差异。通常，超参数调整是通过手动选择从预定义组合的稀疏网格中表现最佳的参数集来完成的。不幸的是，这种方法可能会导致性能下降的配置，特别是对于敏感的拓扑结构。我们提出了一种基于协方差矩阵适应进化策略（CMA-ES）的超参数调整的替代方法。使用这种方法，我们将多个拓扑结构比较结果的改进提高了数个数量级，这表明仅靠拓扑结构本身并不像适当调整的超参数那么重要。
作者：Filip Matzner
论文ID：2207.07976
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2022-07-19