时间序列预测中构成良好对比学习的要素是什么？
摘要：自我监督对比学习（SSCL）的引入近年来在各个领域中展示了在表示学习方面的显著改进，包括自然语言处理和计算机视觉。通过利用自我监督的固有优势，SSCL能够利用大量未标记数据进行表示模型的预训练。尽管取得了这些进展，对于不同SSCL策略对时间序列预测性能的影响以及SSCL可以带来的具体好处仍存在显著差距。本文旨在通过对各种训练变量的有效性进行全面分析，包括不同的SSCL算法、学习策略、模型架构及其相互作用，来填补这些差距。此外，为了深入了解SSCL在时间序列预测中带来的改进，还对经验感受野进行了定性分析。通过实验证明，使用均方误差（MSE）损失和SSCL进行Transformer模型的端到端训练是时间序列预测中最有效的方法。值得注意的是，对比目标的融入使模型能够优先考虑更相关的预测信息，如尺度和周期关系。这些发现有助于更好地理解SSCL在时间序列预测中的好处，并为该领域的未来研究提供了宝贵的见解。我们的代码可以在https://github.com/chiyuzhang94/contrastive_learning_time-series_e2e上找到。
作者：Chiyu Zhang, Qi Yan, Lili Meng, Tristan Sylvain
论文ID：2306.12086
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-15