LLM4TS: 基于预训练LLMs的两阶段微调用于时间序列预测
摘要：使用预先训练的大型语言模型（LLMs）来增强时间序列预测的能力。借鉴自自然语言处理和计算机视觉领域模型统一化的兴趣，我们设想创建一个类似的长期时间序列预测模型。由于构建强大的基础模型所需的大规模时间序列数据有限，我们的方法LLM4TS侧重于利用预先训练的LLMs的优势。通过将时间序列分块与时间编码相结合，我们提高了LLMs处理时间序列数据的能力。受聊天机器人领域监督微调的启发，我们采用两阶段微调过程：首先进行监督微调以调整LLM对时间序列数据的定位，然后进行特定任务的下游微调。此外，为了在不进行大量参数调整的情况下发挥预先训练的LLMs的灵活性，我们采用了几种参数高效微调（PEFT）技术。基于这些创新，LLM4TS在长期预测方面取得了最先进的结果。我们的模型还表现出卓越的能力，既是一个强大的表示学习器，又是一个有效的少样本学习器，这要归功于从预先训练的LLM中转移的知识。
作者：Ching Chang, Wen-Chih Peng, Tien-Fu Chen
论文ID：2308.08469
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-17