深度学习中超网络的简要回顾
摘要：超网络（Hypernetworks）是一种神经网络，用于为目标网络生成权重。它们已经成为一种强大的深度学习技术，能够提供更大的灵活性、适应性、动态性、更快的训练、信息共享和模型压缩等。在包括连续学习、因果推断、迁移学习、权重剪枝、不确定性量化、零样本学习、自然语言处理和强化学习等各种深度学习问题中，超网络已经显示出了良好的结果。尽管在不同的问题设置下都取得了成功，但目前还没有可用的综述来通知研究人员关于超网络的发展，并帮助他们利用超网络。为了填补这一空白，我们对超网络的进展进行了综述。我们给出了一个使用超网络来训练深度神经网络的示例，并提议根据五个设计准则对超网络进行分类，包括输入、输出、输入和输出的变动性以及超网络的架构。我们还回顾了超网络在不同深度学习问题设置中的应用，并讨论了超网络可以有效应用的一般场景。最后，我们讨论了超网络领域尚未充分探索的挑战和未来方向。我们相信，超网络有潜力彻底改变深度学习领域。它们提供了一种设计和训练神经网络的新方法，并有潜力在各种任务上改善深度学习模型的性能。通过这个综述，我们的目标是通过超网络激发深度学习的进一步发展。
作者：Vinod Kumar Chauhan, Jiandong Zhou, Ping Lu, Soheila Molaei and David A. Clifton
论文ID：2306.06955
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-11