PETformer：通过占位符增强的Transformer进行长期时间序列预测
摘要：长序列时间序列预测（LTSF）任务是利用Transformer-based模型获得卓越性能的领域，因为它们能够建模长期依赖关系。然而，Transformer在LTSF任务中的有效性仍然存在争议，尤其是最近的研究表明简单的线性模型可以胜过许多基于Transformer的方法。这表明了在LTSF中应用Transformer存在限制。因此，本文探讨了将Transformer应用于LTSF时的三个关键问题：时间连续性、信息密度和多通道关系。据此，我们提出了三种创新的解决方案，包括占位符增强技术（PET）、长子序列分割（LSD）和多通道分离与交互（MSI），它们共同构成了一种新颖的模型PETformer。这三个关键设计引入了适用于LTSF任务的先验偏差。广泛的实验表明，PETformer在LTSF的八个常用公共数据集上实现了最先进的性能，优于目前所有其他模型。这证明了Transformer在LTSF中仍具有强大的能力。
作者：Shengsheng Lin, Weiwei Lin, Wentai Wu, Songbo Wang, Yongxiang Wang,
论文ID：2308.04791
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-10