在大规模批处理系统中的吞吐量优化
摘要：一个数据处理系统，其中$n$个客户端生成的作业由$m$个并行服务器进行批处理。系统吞吐量严重依赖于批量大小和相应的次加性加速函数。在实践中，吞吐量优化依赖于对最佳批量大小的数值搜索，这个过程在现有商业系统中可能需要多天的时间。在本文中，我们将系统建模为一个封闭排队网络；标准的马尔可夫分析可以在$omegaleft(n^4\ right)$的时间内得到最佳吞吐量。我们的主要贡献是对系统的均值场模型，该模型适用于系统规模较大的情况。我们展示了均值场模型具有唯一的、全局吸引力的稳定点，可以在闭合形式中找到，并且可以表征系统的渐近吞吐量作为批量大小的函数。利用这个表达式，我们可以在$O(1)$的时间内找到渐近最优吞吐量。来自一个大型商业系统的数值设置显示，这个渐近最优值在实际的有限区间内是准确的。
作者：Sounak Kar, Robin Rehrmann, Arpan Mukhopadhyay, Bastian Alt, Florin Ciucu, Heinz Koeppl, Carsten Binnig and Amr Rizk
论文ID：2009.09433
分类：Performance
分类简称：cs.PF
提交时间：2020-09-22