在Twitter上为混合云SQL交互查询提供服务
摘要：在Twitter过去几年中，对数据分析的需求一直在持续增加。为了满足要求并提供高度可伸缩和可用的查询体验，我们依赖于一个大规模的内部SQL系统。最近，我们将SQL系统发展为一个与Twitter的部分云策略相一致的混合云SQL联邦系统。混合云SQL联邦系统能够处理跨Twitter的数据中心和公共云的查询，每天与大约10PB的数据交互。 在本文中，介绍了混合云SQL联邦系统的设计，包括查询、集群和存储联邦。我们确定了现代SQL系统中的挑战，并演示了我们的系统如何通过一些重要的设计决策来解决它们。我们还进行了定性分析，并总结了从开发和运营这样一个SQL系统中获得的有指导意义的经验教训。
作者：Chunxu Tang, Beinan Wang, Huijun Wu, Zhenzhao Wang, Yao Li, Vrushali Channapattan, Zhenxiao Luo, Ruchin Kabra, Mainak Ghosh, Nikhil Kantibhai Navadiya, Prachi Mishra, Prateek Mukhedkar, Anneliese Lu
论文ID：2207.04199
分类：Databases
分类简称：cs.DB
提交时间：2022-11-22