深度受限核机器分类器中的原始和对偶表示的结合
摘要：深度限制核机器（DRKM）框架中的深度学习与核机器结合，可以使用可见和隐藏单元将多个级别的核主成分分析（KPCA）和最小二乘支持向量机（LSSVM）组合成深度体系结构。我们提出了一种新的DRKM分类方法，将KPCA和分类级别的目标相结合，将隐藏特征矩阵置于斯蒂费尔流形上。分类级别可以被表达为LSSVM或MLP特征映射，以级别和层次的深度进行组合。分类级别通过原始公式表达，深度KPCA级别通过对偶公式表达，可以将数据的最具信息的组件嵌入到更低维度的空间中。对偶设置与输入维度无关，原始设置是参数化的，这使得所提出的方法在高维输入和大型数据集的计算效率上都很高。在实验中，我们展示了我们开发的算法可以有效地从小数据集中学习，并且使用的内存比高维数据的卷积神经网络（CNN）少，并且具有多个KPCA级别的模型可以优于具有单个级别的模型。在测试的大规模数据集上，DRKM在保持可比性能的同时比CNN更节能。
作者：Francesco Tonin, Panagiotis Patrinos, Johan A. K. Suykens
论文ID：2306.07015
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-30