大规模精确矩阵估计的高效并行块坐标下降算法在图形处理单元上使用
摘要：大规模稀疏精确矩阵估计已引起统计学界的广泛关注。最近，Khare等人（2015）开发的凸偏相关选择方法（CONCORD）被认为具有估计稀疏精确矩阵的一些理论性质。CONCORD通过基于目标函数的凸性的坐标下降算法（CONCORD-CD）获得其解。然而，由于CONCORD-CD中的坐标更新本质上是串行的，因此扩展问题并不容易。在本文中，我们提出了CONCORD-CD的新型并行化方法，即CONCORD-PCD。CONCORD-PCD将非对角元素划分为若干组，并在不影响CONCORD-CD的计算收敛性的情况下同时更新每组。我们通过使用图论中的边缘着色概念来保证这一点。具体而言，我们建立了CONCORD-CD中非对角元素更新的调度与完全图的边缘着色之间的非平凡对应关系。结果表明，CONCORD-PCD同时更新与相同颜色可着色的相关边缘有关的非对角元素。因此，需要更新非对角元素的步骤数从p（p-1）/2减少到p-1（对于偶数p）或p（对于奇数p），其中p表示变量的数量。我们证明了这样的步骤数是不可约的。此外，CONCORD-PCD适用于单指令多数据（SIMD）并行性。数值研究显示，图形处理单元（GPU）实现的SIMD并行化PCD算法可以多次增强CONCORD-CD算法。
作者：Young-Geun Choi, Seunghwan Lee, Donghyeon Yu
论文ID：2106.09382
分类：Computation
分类简称：stat.CO
提交时间：2021-06-18