Apache Spark下的并行和流式小波神经网络在分类和回归中的应用
摘要：可扩展并行小波神经网络(SPWNN)在许多领域被应用于解决回归和分类问题。随着大数据时代的来临，由于数据的快速生成，我们必须在数据生成时进行及时分析，因为数据的特性可能在短时间内发生剧变。这是因为大数据无处不在，并给数据科学家带来了计算挑战。因此，本文提出了一种高效的可扩展并行小波神经网络(SPWNN)架构，采用了并行随机梯度下降(SGD)算法。SPWNN在水平并行化框架下，分别在静态环境和流式环境中进行设计和开发。SPWNN使用Morlet和高斯函数作为激活函数。该研究基于大数据集，如拥有超过400万个样本的气体传感器数据和拥有超过10000个特征的医学研究数据，这些数据都具有高维特性。实验分析表明，在静态环境中，Morlet激活函数的SPWNN在分类数据集上表现优于Gaussian激活函数的SPWNN。然而，在回归问题上则相反。相比之下，在流式环境下，高斯激活函数在分类数据集上表现优于Morlet，而Morlet在回归数据集上表现优于高斯激活函数。总体而言，所提出的SPWNN架构实现了1.32-1.40倍的加速。
作者：Eduru Harindra Venkatesh, Yelleti Vivek, Vadlamani Ravi and Orsu Shiva Shankar
论文ID：2209.03056
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2022-09-08