光变曲线变压器的位置编码：玩转位置和注意力
摘要：在不同的观测时间间隔和幅度分布的数据集上，我们进行了实证实验，评估了光变曲线转换器的可迁移性，采用了不同的位置编码。我们提出了一种将时间信息直接加入到最后一个注意力层输出的新方法。我们的结果表明，使用可训练的位置编码可以显著提高变压器的性能和训练时间。当迁移到其他数据集时，我们提出的注意力位置编码可以更快地训练，同时获得竞争性的结果。
作者：Daniel Moreno-Cartagena, Guillermo Cabrera-Vives, Pavlos Protopapas, Cristobal Donoso-Oliva, Manuel P''erez-Carrasco, Martina C''adiz-Leyton
论文ID：2308.06404
分类：Instrumentation and Methods for Astrophysics
分类简称：astro-ph.IM
提交时间：2023-08-15