Cloudprofiler：基于TSC的节点间分析和高吞吐量数据摄取用于云流式工作负载。
摘要：实时分析计算需要大数据流处理引擎以每秒数百万个事件来处理无边界的数据流。然而，目前的流处理引擎吞吐量低，元组处理延迟高。性能工程受到了复杂分布式系统的影响，该系统由云中的多个节点组成。需要一种能够在节点间实现高精度时间测量的分析技术。标准的时钟同步技术，如网络时间协议（NTP），只能提供毫秒级的准确度，因此无法使用。我们提出了一种根据节点的时间戳计数器（TSC）来测量流式框架中事件持续时间的分析技术。TSC关系的精确度决定了测量持续时间的准确度。在网络的静止时期进行TSC关系的测量，以实现准确度在几十微秒的量级。我们提出了一个吞吐量受控的数据生成器，可可靠地确定流式引擎的可持续吞吐量。为了促进高吞吐量的数据摄取，我们提出了一个并发对象工厂，将传入数据元组的反序列化开销移出流式框架的关键路径。在谷歌计算引擎公共云上的Apache Storm流式框架中对所提出的技术进行评估表明，数据摄取从700k增加到4.68M元组每秒，并且时间持续可在92μs的测量精度下进行分析，这比NTP的精度高了三个数量级，并且比先前的工作高一个数量级。
作者：Shinhyung Yang, Jiun Jeong, Bernhard Scholz, and Bernd Burgstaller
论文ID：2205.09325
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-08-11