流式系统中非阻塞服务速率的运行时近似
摘要：流处理是一种计算范例，可以实现安全高效的并行处理。现代大数据问题通常非常适合流处理的吞吐量导向性质。实现高效的流处理需要监控和优化多个通信链接。大多数优化这些链接的技术使用队列网络模型或网络流模型，这些模型需要对系统中每个独立的计算核心的实际执行速度有一定了解。我们想知道的是每个核心在与其他通信核心独立处理数据时能处理多快。这在队列文献中被称为核心的“服务速率”。当前推断服务速率的方法是静态的。然而，现代的工作负载往往是动态的。共享云系统还给应用程序提供了高度动态的执行环境（多个用户、硬件迁移等）。因此，在运行时（在线）根据不断变化的条件进行应用程序的持续调整是可取的。我们的方法能够在大多数条件下实现在线服务速率监控，消除了对稳态预测的依赖，因为这些预测可能是非稳态现象。首先，我们会解释一些与在线服务速率确定相关的困难。其次，我们会介绍用于近似在线非阻塞服务速率的算法。最后，我们将在开源RaftLib框架中实现该算法，以便使用一个简单的微基准测试和两个完整的流处理应用程序进行验证。
作者：Jonathan C. Beard and Roger D. Chamberlain
论文ID：1504.00591
分类：Performance
分类简称：cs.PF
提交时间：2015-04-14