探索的价值：测量、发现与算法
摘要：有效的探索被认为对推荐平台上的用户长期体验有积极影响。然而，确定其确切的益处一直是具有挑战性的。常规的探索A/B测试通常会测量中性甚至负面的参与度指标，同时未能捕捉其长期效益。为了解决这个问题，我们提出了一项系统研究，通过研究探索对内容语料库的影响，正式量化探索的价值，内容语料库是推荐系统中直接影响用户体验的关键实体。具体来说，我们引入了新的指标和相关的实验设计来衡量探索对语料库变化的益处，并进一步将语料库变化与用户长期体验联系起来。此外，我们研究了引入神经线性Bandit算法来构建基于探索的排序系统的可能性，并将其作为我们案例研究的主要算法。我们在一个服务数十亿用户的大型商业推荐平台上进行了大量实时实验，以验证新的实验设计，量化探索的长期价值，并验证採用的神经线性Bandit算法在探索方面的有效性。
作者：Yi Su, Xiangyu Wang, Elaine Ya Le, Liang Liu, Yuening Li, Haokai Lu, Benjamin Lipshitz, Sriraj Badam, Lukasz Heldt, Shuchao Bi, Ed Chi, Cristos Goodrow, Su-Lin Wu, Lexi Baugher, Minmin Chen
论文ID：2305.07764
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-05-16