无导数算法在使用随机子空间时的预期减少
摘要：无导数算法只基于在适当点查询的函数值，寻找给定函数的最小值。虽然这些方法在实践中被广泛使用，但随着问题维度的增加，它们的性能会降低。近期的进展在开发随机无导数技术方面已经解决了这个问题，通过随机地在迭代过程中绘制低维子空间。这些随机子空间的维度与算法保证之间的连接尚未完全理解。在本文中，我们针对采用随机子空间的无导数算法（包括直接搜索和基于模型的方法）进行了分析。我们的结果利用平滑函数的线性局部逼近来获得每个函数评估所实现的预期减少的理解。尽管感兴趣的数量涉及多维积分，没有闭合形式的表达式，但对于不同子空间维度的相对比较表明低维度是可取的。感兴趣数量的数值计算证实了在低维子空间中操作的好处。
作者：Warren Hare, Lindon Roberts, Cl''ement W. Royer
论文ID：2308.04734
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-08-10