无反向传播的4D连续蚁群神经拓扑搜索
摘要：连续蚁群启发式拓扑搜索（CANTS）是一种先前介绍的基于蚁群优化（ACO）的新型自然启发式神经架构搜索（NAS）算法。CANTS利用连续搜索空间间接编码神经架构的搜索空间。合成蚂蚁代理根据信息素的密度和分布来探索CANTS的连续搜索空间，强烈受到真实世界中蚂蚁移动的启发。这种连续搜索空间使得CANTS能够自动设计任意大小的人工神经网络（ANNs），消除了许多当前NAS算法的一个关键限制，即必须在用户预定的结构中操作。本研究通过向其搜索空间添加第四个维度，表示潜在的神经突触权重，对CANTS进行了扩展。增加这个额外的维度使得CANTS代理可以优化ANN的架构和权重，而无需应用反向传播（BP），这可以显著减少优化过程中消耗的时间：至少平均减少96\%的时间消耗，同时具有非常有竞争力的优化性能，如果不是更好的话。本研究的实验证明，BP-Free CANTS算法在使用真实数据时，相比CANTS和ANTS表现出非常有竞争力的性能，同时需要较少的操作时间。
作者：AbdElRahman ElSaid and Karl Ricanek and Zeming Lyu and Alexander Ororbia and Travis Desell
论文ID：2305.06715
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-08-16