大规模电子商务搜索系统中预排序角色的重新思考
摘要：电子商务搜索系统（如中国最大的电子商务搜索系统淘宝搜索）旨在为用户提供最受欢迎的商品。由于庞大的数据和有限的响应时间， typ搜索的典型工业排名系统由匹配，预排名和排名等三个或更多模块组成。预排名被广泛认为是一个迷你排名模块，因为它需要对有限的延迟下进行数百倍的商品排名。现有的研究侧重于构建一个模仿排名模型的轻量级模型。因此，预排名模型的度量遵循使用离线评估的接收器操作特性（AUC）进行排名模型。然而，这种度量与实际中的在线A/B测试不一致，因此工程师必须进行昂贵的在线测试才能得出令人信服的结论。在我们的工作中，我们重新思考了预排名的作用。我们认为预排名阶段的主要目标是返回一个最优的无序集合，而不是一个有序的商品列表，因为是排名决定了最终的曝光。由于AUC衡量的是有序商品列表的质量，所以不适合评估输出无序集合的质量。本文提出了一种新的评估指标称为全场景命中率（ASH）用于预排名。通过在淘宝搜索中进行大量实验证明了ASH在离线评估中的有效性，并与在线A/B测试一致。我们还介绍了一种基于全场景的多目标学习框架（ASMOL），显著改进了ASH。令人惊讶的是，当输出数千个商品时，新的预排名模型可以超过排名模型。该现象验证了预排名阶段不应盲目模仿排名。由于ASH的改进一致地转化为在线改进，它在淘宝搜索上可以使GMV提升1.2％。
作者：Zhixuan Zhang, Yuheng Huang, Dan Ou, Sen Li, Longbin Li, Qingwen Liu, Xiaoyi Zeng
论文ID：2305.13647
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-05-24