图神经网络从结构信息中获益的证明：基于特征学习视角
摘要：图神经网络（GNN）在图表示学习方面取得了突破性进展，在处理图输入时表现出优秀的特征学习能力和性能，优于多层感知器（MLP）。然而，对于GNN的特征学习方面的理解仍处于初级阶段。本研究旨在通过研究图卷积在梯度下降训练中的特征学习理论中的作用，来弥补这一差距。我们在两层图卷积网络（GCNs）中对信号学习和噪声记忆进行了独特的表征，并将它们与两层卷积神经网络（CNNs）进行了对比。我们的研究结果显示，与对应的CNN相比，图卷积显著增强了良性过拟合区域，其中信号学习优于噪声记忆，大约提高了$sqrt{D}^{q-2}$个因子，其中$D$表示节点的期望度数，$q$是ReLU激活函数的幂，$q > 2$。这些结果强调了GNN和MLP在梯度下降训练后的特征学习和泛化能力方面存在重大差异，这个结论在我们的实证模拟中得到了进一步证实。
作者：Wei Huang, Yuan Cao, Haonan Wang, Xin Cao, Taiji Suzuki
论文ID：2306.13926
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-15