多语言SQL翻译器及通过数据库模式修剪改进自注意力
摘要：长串的文本在转换器的背景下具有挑战性，因为自注意机制中的存储空间增长是二次的。由于这个问题直接影响从自然语言到SQL查询的转换（通常技术将问题和数据库模式的文本拼接作为输入），我们提出了一些技术，可以使转换器处理长文本序列并支持高达512个输入令牌。我们提出了一个训练过程，通过数据库模式修剪（去除对查询无用的表和列名）来实现。此外，我们采用了多语言方法，使用经过数据增强的mT5-large模型在四种语言（英语、葡萄牙语、西班牙语和法语）同时进行了微调。我们提出的技术使用了Spider数据集，并将在验证数据集（Dev）上的精确匹配准确度结果从0.718提高到了0.736。源代码、评估和检查点可在以下网址获得：https://github.com/C4AI/gap-text2sql。
作者：Marcelo Archanjo Jose and Fabio Gagliardi Cozman
论文ID：2306.14256
分类：Artificial Intelligence
分类简称：cs.AI
提交时间：2023-06-27