优化神经网络架构和泛化的新构建方法
摘要：神经网络中发生泛化不佳和过拟合现象的原因分析后，我们将一些噪声数据视为一个连续函数的奇异值——跳跃不连续点。连续部分可以通过最简单的神经网络来进行逼近，这些神经网络具有良好的泛化性能和最优的网络架构，可通过传统算法（如基于增量训练的前馈神经网络构造算法，BP算法，ELM算法，各种构造算法，RBF逼近和SVM）实现。同时，我们将构建RBF神经网络以适应每个错误中的奇异值，并证明具有跳跃不连续点的函数可以通过最简单的神经网络和递减的RBF神经网络逼近每个错误中的奇异值，而 基于递减的RBF神经网络逼近每个错误的部分对整个机器学习系统没有泛化影响，从而优化神经网络架构和泛化性能，减少过拟合现象，避免拟合噪声数据。
作者：Hou Muzhou, Moon Ho Lee
论文ID：1302.0324
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2013-02-05