遗传编程中的局部优化经常处于病态状态用于符号回归
摘要：渐变基于局部优化已被证明能改善符号回归的遗传编程结果。一些最先进的遗传编程实现使用迭代非线性最小二乘（NLS）算法，如Levenberg-Marquardt算法进行局部优化。NLS算法的有效性取决于优化问题的适当缩放和条件设置。这在符号回归和遗传编程文献中迄今被忽视。在本研究中，我们使用NLS雅可比矩阵的奇异值分解来确定其数值秩和条件数。我们对一个遗传编程实现以及六个不同的基准数据集进行实验证明，秩不足和条件数病态的雅可比矩阵经常出现并且适用于所有数据集。当限制遗传编程树大小并在函数集中使用多个非线性函数时，该问题的程度会减轻。
作者：Gabriel Kronberger
论文ID：2209.00942
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-06-21