DPA负载均衡器:面向数据并行的基于Actor的系统的负载均衡

摘要:动态负载均衡流式框架中的演员的方法研究。这用于解决可能导致延迟者的输入数据倾斜问题。我们持续监视演员的输入队列长度以进行负载,如果检测到延迟者,则使用一致性哈希将输入重新分配给减少器。为了保证后续处理的一致性,我们采用了一种将输入转发与处理结束时的状态合并步骤相结合的方法。我们表明,这种方法可以极大地减轻数据倾斜导致的延迟者问题。

作者:Ziheng Wang, Atem Aguer, and Amir Ziai

论文ID:2308.00938

分类:Distributed, Parallel, and Cluster Computing

分类简称:cs.DC

提交时间:2023-08-03

PDF 下载: 英文版 中文版pdf翻译中