通过预条件器解决注意力核回归问题
摘要：大型语言模型在许多任务中展现出令人印象深刻的性能。从计算角度来看，其中一个主要特征是计算注意力矩阵。之前的研究[Zandieh、Han、Daliri和Karba，2023年；Alman和Song，2023年]已经正式研究了逼近注意力矩阵的可能性和不可能性。在这项工作中，我们定义并研究了一个新的问题，即注意力核回归问题。我们展示了如何在数据矩阵的输入稀疏时间内解决注意力核回归问题。
作者：Zhao Song, Junze Yin, Lichen Zhang
论文ID：2308.14304
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-29