使用热启动策略在数值黑盒优化算法之间切换
摘要：在使用黑盒方法解决优化问题时，算法在优化过程中收集了关于问题实例的有价值信息。这些信息用于调整从中抽样新的解决方案候选的分布。事实上，进化计算中的一个关键目标是识别收集和利用实例知识的最有效方法。然而，尽管有相当多的工作致力于在运行时调整黑盒优化算法的超参数或交换其中的某些模块化组件，但我们几乎不知道如何有效地在不同的黑盒优化算法之间切换。 在这项工作中，我们在Vermetten等人最近的研究[GECCO 2020]的基础上进行了论证，他们提出了一种数据驱动的方法来调查数值黑盒优化算法之间的有前途的切换。我们使用五个算法的组合重现了他们的方法，并调查了在执行最有前途的切换时是否实现了预测的性能提升。我们的结果表明，在两个算法之间进行单次切换时，在120个考虑的问题实例中的48个上，我们的性能超过了这五个算法中最佳的静态选择，这些问题实例包括五个不同维度的24个BBOB函数。我们还表明，在BFGS和CMA-ES之间进行切换时，适当的参数热启动对于实现高性能增益至关重要。最后，通过敏感性分析，我们发现每次运行的实际性能增益在很大程度上受到切换点的影响，并且在某些情况下，实际性能最佳的切换点与从理论增益计算出的切换点不同。
作者：Dominik Schr"oder, Diederick Vermetten, Hao Wang, Carola Doerr, Thomas B"ack
论文ID：2204.06539
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-01-13