TWIN：快手CTR预测中用于终身用户行为建模的两阶段兴趣网络
摘要：终身用户行为建模，在现代CTR预测系统中起着核心作用，即从用户丰富的历史行为中提取隐藏的兴趣。传统算法主要遵循两个级联阶段：一个简单的常规搜索单元（GSU）用于在数万个长期行为中进行快速粗略搜索，以及一个准确的搜索单元（ESU）用于对来自GSU的少量决赛选手进行有效的目标关注（TA）。尽管高效，但现有算法通常存在一个关键限制：GSU和ESU之间的目标-行为相关度度量不一致。因此，它们的GSU通常会错过高度相关的行为，但会检索到ESU认为不相关的行为。在这种情况下，无论如何分配注意力，ESU中的TA多数情况下与真实的用户兴趣偏离，并因此降低了整体CTR预测的准确性。为了解决这种不一致性，我们提出了TWo-stage Interest Network（TWIN），其中我们的Consistency-Preserved GSU（CP-GSU）采用与ESU中的TA完全相同的目标-行为相关度度量，使两个阶段成为孪生。具体而言，为了突破TA的计算瓶颈并将其从ESU扩展到GSU，即从行为长度$10^2$扩展到长度$10^4-10^5$，我们通过行为特征分割构建了一种新的注意力机制。对于行为的固有特征，我们通过高效的预计算和缓存策略计算它们的线性投影。对于用户-项交叉特征，我们将其压缩为注意力分数计算中的一维偏置项，以节省计算成本。两个阶段之间的一致性，加上CP-GSU中的有效TA基于的相关度度量，共同促成了CTR预测的显著性能提升。
作者：Jianxin Chang, Chenbin Zhang, Zhiyi Fu, Xiaoxue Zang, Lin Guan, Jing Lu, Yiqun Hui, Dewei Leng, Yanan Niu, Yang Song, Kun Gai
论文ID：2302.02352
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-06-28