基于比较的自适应随机搜索通过马尔可夫链的稳定性实现线性收敛
摘要：比较基于自适应随机算法求解数值优化问题。考虑比较基于步长自适应随机搜索(CB-SARS)的特定子类算法，其中给定迭代的状态变量是搜索空间的向量和一个正参数，步长，通常控制底层搜索分布的总体标准差。我们研究CB-SARS在缩尺不变的目标函数上的线性收敛性。当将点与相同的正参数缩放（参考点相对于函数值进行排序时）缩放不变函数保持点的顺序。这类函数包括以严格增函数组成的范数，以及许多非拟凸和非连续函数。在缩尺不变函数上，我们通过CB-SARS的自然不变性属性（基本上是尺度不变性和目标函数的严格增变换不变性）证明了一种同质马尔可夫链的存在。然后，我们以标准化的同质马尔可夫链的不同稳定性条件（不可约性，正性，Harris循环，几何遗忘性）为基础，得出CB-SARS的全局线性收敛的充分条件，并定义了一种在缩尺不变函数上证明CB-SARS算法全局线性收敛的通用方法。作为副产品，我们提供了比较基于自适应随机算法和马尔可夫链蒙特卡洛算法之间的关系。
作者：Anne Auger (TAO), Nikolaus Hansen (TAO)
论文ID：1310.7697
分类：Numerical Analysis
分类简称：cs.NA
提交时间：2016-06-03