设计进化神经架构搜索算法的预期击中时间分析
摘要：基于进化计算的神经架构搜索（ENAS）是一种用于自动设计深度神经网络架构的流行技术。近年来，已经提出了各种ENAS算法，并在不同的真实应用中展现了有希望的性能。与这些开创性应用相反，在给定ENAS问题的预期性能和可接受的计算预算的情况下，没有关于分配合理运行时间（主要受到生成数量、种群规模和演化操作的影响）的理论指导。预期的命中时间（EHT），指的是平均代数，被认为是分析ENAS算法运行时间的一个度量。本文提出了一个通用框架来估计ENAS算法的EHT，其中包括常见配置、搜索空间划分、转换概率估计和命中时间分析。通过利用提出的框架，我们考虑了具有不同突变算子的所谓（λ+λ）-ENAS算法，并设法估计EHT的下界（对于算法找到全局最优解至关重要）。此外，我们研究了NAS-Bench-101架构搜索问题的理论结果，结果表明，采用“基于位的公平突变”策略的一位突变所需时间少于“基于后代的公平突变”策略，而位操作符所需的时间少于q位突变操作符。据我们所知，这是第一个专注于ENAS理论的工作，上述观察将在设计高效的ENAS算法方面具有实质性的帮助。
作者：Zeqiong Lv, Chao Qian, Gary G. Yen, and Yanan Sun
论文ID：2210.05397
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2022-10-12