神经架构搜索的高效评估方法：一项调查
摘要：神经体系结构搜索(NAS)因其在自动设计深度神经网络(DNN)体系结构方面的突出优点而越来越受到关注。然而，作为NAS的关键部分，性能评估过程通常需要训练大量的DNN。这不可避免地导致NAS计算开销大。近年来，已经提出了许多高效评估方法(EEMs)来解决这个关键问题。本文综述了迄今为止发表的这些EEMs，并提供了详细的分析以促进进一步发展这个研究方向。具体而言，我们根据用于构建这些EEMs的已训练DNN的数量将现有的EEMs分为四类。分类可以反映原则上的效率程度，从而有助于快速掌握方法的特点。在综述每个类别时，我们进一步讨论设计原则并分析其优势和不足之处，以澄清现有EEMs的情况，从而更容易理解EEMs的研究趋势。此外，我们还讨论了当前的挑战和问题，以确定这一新兴主题的未来研究方向。据我们所知，这是第一篇广泛且系统地调查NAS的EEMs的工作。
作者：Xiangning Xie, Xiaotian Song, Zeqiong Lv, Gary G. Yen, Weiping Ding, Yanan Sun
论文ID：2301.05919
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-01-18