PDT：用于时态双分图的预训练双变压器
摘要：利用大型模型进行预训练在许多机器学习应用领域中已经广泛存在并不断涌现，这是由于不断增长的用户生成内容。已经认识到，从描述用户内容交互的数据集中学习上下文知识在下游任务中起着关键作用。尽管已经有几项研究尝试通过预训练方法学习上下文知识，但是找到这种任务的最佳训练目标和策略仍然是一个具有挑战性的问题。在这项工作中，我们认为在用户内容交互可以表示为二分图的数据集中存在两个不同的上下文知识方面，即用户方和内容方。为了学习上下文知识，我们提出了一种预训练方法，该方法学习用户方和内容方之间的双向映射。我们将训练目标制定为对比学习任务，并提出了一个双向Transformer架构来编码上下文知识。我们在推荐任务中评估了所提出的方法。实证研究表明，所提出的方法在所有基准测试中表现优异并取得了显著的收益。
作者：Xin Dai, Yujie Fan, Zhongfang Zhuang, Shubham Jain, Chin-Chia Michael Yeh, Junpeng Wang, Liang Wang, Yan Zheng, Wei Zhang
论文ID：2306.01913
分类：Artificial Intelligence
分类简称：cs.AI
提交时间：2023-06-22