加速州级联网车辆大规模（传感器融合）数据ETL流水线在GPU上
摘要：州际电动车和连接车辆交通和传感器数据的实时性有潜力提供的见解将导致有效的交通基础设施和相关附属服务的即时受益。然而，电动车（EVs）和连接车辆（CVs）的增长产生了大量的CV数据和传感器数据，给现有数据中心基础设施的处理能力带来了压力。结果，好处要么延迟，要么不能充分实现。为了解决这个问题，我们提出了一种在GPU上处理全州CV交通和传感器数据的解决方案，提供在时间和空间维度上的实时微观洞察力。这是通过使用Nvidia Rapids框架和Python中的Dask并行集群实现的。我们的研究结果表明，对于密苏里州一整天所有唯一CV旅程的数据提取、转换和加载（ETL）加速了70倍，将处理时间从大约48小时缩短到仅仅25分钟。鉴于这些结果适用于数千辆CV和数千个具有亚秒级传感器数据的个体旅程，意味着我们可以对交通基础设施的管理建模并获得可行的见解。
作者：Abdul Rashid Mussah, Maged Shoman, Mark Amo-Boateng, Yaw Adu-Gyamfi
论文ID：2305.07454
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-05-15