ESPBench:企业流处理基准测试
摘要:企业可以通过将其核心业务数据和分析与最新的流式数据相结合来利用数据流处理系统的增长数据量和速度,从而提高其核心业务数据和分析的丰富度。然而,由于现有的基准测试不覆盖这些复杂用例,因此比较这些复杂用例的流式架构是具有挑战性的。ESPBench是一个新的企业级流式处理基准测试,填补了这一空白。我们介绍了其架构、基准测试过程和查询工作负载。我们使用提供的Apache Beam开发的查询实现,在三个最先进的流式处理系统Apache Spark、Apache Flink和Hazelcast Jet上使用ESPBench。我们的结果强调了提供的ESPBench工具包的必要性,该工具包支持基准测试的执行,因为它能够验证查询结果并提供客观的延迟测量。
作者:Guenter Hesse, Christoph Matthies, Michael Perscheid, Matthias Uflacker, Hasso Plattner
论文ID:2103.06775
分类:Performance
分类简称:cs.PF
提交时间:2021-03-12