ReLU深度神经网络与线性有限元
摘要：深度神经网络中的修正线性单元（ReLU）作为激活函数与连续分段线性（CPWL）函数，特别是来源于单纯性线性有限元方法（FEM）的CPWL函数之间的关系进行了调查。首先考虑FEM的特殊情况。通过探索其节点基函数的DNN表示，我们提出了在FEM中使用ReLU DNN表示CPWL的方法。我们在理论上证明了当$d\geq2$时，至少需要$2$个隐藏层的ReLU DNN才能表示$Omega subseteq mathbb{R}^d$中的任何线性有限元函数。因此，在科学和工程计算中经常遇到的$d=2,3$的情况下，最少需要两个隐藏层才能表示任何CPWL函数所需的ReLU DNN是必要且充分的。然后，我们详细介绍了如何使用最多$lceillog\_2(d+1) ceil$个隐藏层的ReLU DNN来表示$mathbb R^d$中的一般CPWL函数，并对所需的DNN中神经元数量进行了估计。此外，利用DNN和FEM之间的关系，我们在理论上证明了低位宽的特殊类DNN模型在应用中仍然有足够的表示能力。最后，作为概念验证，我们展示了使用ReLU DNN解决两点边界问题的数值结果，以展示将DNN应用于偏微分方程数值解的潜力。
作者：Juncai He, Lin Li, Jinchao Xu and Chunyue Zheng
论文ID：1807.03973
分类：Numerical Analysis
分类简称：math.NA
提交时间：2020-06-02