Fries：数据流系统中快速且一致的运行时重配置与事务保证（扩展版本）
摘要：在大数据系统中，计算任务可能需要很长时间才能运行，尤其是对于数据流的流水线执行。开发人员通常需要更改作业的计算逻辑，比如修复操作员中的漏洞或使用更便宜的机器学习模型来处理数据摄入速率的突然增加。最近，许多系统开始支持运行时重配置，以允许在不终止和重新启动执行的情况下进行此类更改。虽然重新配置的延迟对性能至关重要，但现有系统使用时期来进行运行时重配置，这可能导致较长的延迟。在本文中，我们开发了一种新技术，称为Fries，利用许多系统中出现的快速控制消息的能力，因为这些消息可以在不受数据消息阻塞的情况下发送。我们正式定义了运行时重配置中的一致性，并开发了具有一致性保证的Fries调度器。这种技术不仅适用于不同类别的数据流，还适用于并行执行并支持容错性。我们在集群上进行了广泛的实验评估，结果显示与基于时期的调度器相比，这种技术的优势。
作者：Zuozhi Wang, Shengquan Ni, Avinash Kumar, Chen Li
论文ID：2210.10306
分类：Databases
分类简称：cs.DB
提交时间：2022-10-20