后点击度量的方差减少的分解与交错
摘要：对比在线实验中多个排名的后点击指标（例如停留时间和转化率）的有效方法的提出。所提出的方法包括（1）将排名的后点击指标测量分解为点击模型估计和每个排名中每个项目的后点击指标测量，和（2）交替多个排名以生成一个首选暴露具有较高总体方差的项目的单个排名。后点击指标测量的分解使得可以自由布局排名中的项目，并关注于多个排名中每个项目的后点击指标的测量。多个排名的交替通过优化呈现给用户的排名，使得那些项目可以获得更多的后点击指标样本，从而减少了具有较高总体方差的项目的样本方差。此外，我们提供了一种证明，证明了所提出的方法可以最小化排名比较中的评估误差，并提出了两种稳定在线实验的实用技术。我们进行了全面的模拟实验和真实服务环境实验。实验结果显示，所提出的方法在效率和准确性方面优于现有方法，特别是在输入排名共享许多项目时，表现尤为显着；而且，两种稳定技术成功提高了评估的准确性和效率。
作者：Kojiro Iizuka, Yoshifumi Seki, Makoto P. Kato
论文ID：2306.10024
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-06-21