深度图神经网络的低比特量化与平滑感知消息传递
摘要：图形神经网络（GNN）的训练和推理涉及到模型规模和层数的可扩展性方面的显著挑战，导致大规模和深层GNN的效率和准确性下降。我们提出了一个端到端的解决方案，旨在解决资源受限环境下高效GNN的这些挑战，同时避免深度GNN中的过度平滑问题。我们引入了一种基于量化的方法，用于GNN的所有阶段，从训练中的消息传递到节点分类，压缩模型并实现高效处理。所提出的GNN量化器学习量化范围，并在低位量化下减少模型大小，同时保持可比较的准确性。为了随着层数的增加而扩展，我们设计了一个训练中的消息传播机制，控制相邻节点之间相似性的逐层变化。这个目标被纳入到带约束条件的Lagrangian函数中，利用微分乘子法迭代地找到最优的嵌入。这减轻了过度平滑并抑制了量化误差。在全精度和量化模型中，我们展示了相对于最先进的量化方法和深度GNN方法的显著改进。所提出的量化器在所有GNN阶段的INT2配置下展示了优越的性能，并获得了显著水平的准确性。相比之下，现有的量化方法无法生成满意的准确性水平。最后，与完全精确表示相比，使用INT2和INT4的推理分别实现了5.11倍和4.70倍的加速。
作者：Shuang Wang, Bahaeddin Eravci, Rustam Guliyev, Hakan Ferhatosmanoglu
论文ID：2308.14949
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-30