利用关系数据库进行去重的深度学习模型服务
摘要：在关系数据库中为深度学习模型提供服务有显著的好处。首先，从数据库中提取的特征不需要转移到任何解耦的深度学习系统进行推断，因此系统管理开销可以大大减少。其次，在关系数据库中，数据管理沿存储层次结构完全集成了查询处理，因此即使工作集大小超过了可用内存，它也可以继续进行模型服务。应用模型去重可以大大减少存储空间、内存占用、缓存缺失和推断延迟。然而，现有的数据去重技术不适用于在关系数据库中进行深度学习模型服务的应用。它们不考虑对模型推断准确性的影响，以及张量块和数据库页面之间的不一致性。本文提出了协同存储优化技术，用于重复检测、页打包和缓存，以增强用于模型服务的数据库系统。我们在netsDB中实现了所提出的方法，这是一个面向对象的关系数据库。评估结果表明，我们提出的技术显著提高了存储效率和模型推断延迟，并且当工作集大小超过可用内存时，从关系数据库中提供模型的服务优于现有的深度学习框架。
作者：Lixi Zhou, Jiaqing Chen, Amitabh Das, Hong Min, Lei Yu, Ming Zhao, Jia Zou
论文ID：2201.10442
分类：Databases
分类简称：cs.DB
提交时间：2022-10-24