剪枝与否：一种基于混沌因果关系的原则性稠密神经网络剪枝方法
摘要：神经网络大小剪枝（修剪）是对资源受限设备而言的一个重要问题，通过删除权重而不影响性能。过去，剪枝通常是通过根据诸如大小等标准对权重进行排名或惩罚，并在重新训练剩下的权重之前移除低排名的权重来完成的。剪枝策略也可以涉及删除网络中的神经元，以实现网络大小所需的减小。我们将剪枝定义为一个优化问题，目标是通过选择特定的权重来最小化错误分类。为了实现这一目标，我们引入了学习中的混沌概念（李雅普诺夫指数），通过权重更新和利用因果性来识别导致错误分类的因果权重。这样的剪枝网络保持原始性能并保留特征可解释性。
作者：Rajan Sahu, Shivam Chadha, Nithin Nagaraj, Archana Mathur, Snehanshu Saha
论文ID：2308.09955
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-22