审计方法论如何影响我们对YouTube推荐系统的理解
摘要：社交媒体网站审核生成的数据是我们理解算法内容推荐系统中存在的偏见的基础。随着世界各国的立法者开始考虑对驱动在线平台的算法系统进行监管，确保这些推断的偏见的正确性至关重要。然而，正如本文所示，由于与从特定平台获取数据的审计相关的配置参数的复杂性，这是一项具有挑战性的任务。 以YouTube为重点，我们展示了进行审核并推断YouTube推荐系统的方法学上的挑战比人们所期望的更具挑战性。需要考虑许多方法论决策，以获得科学有效的结果，而且每个决策都会产生成本。例如，审计员在从算法中获取推荐时是否应该使用（成本较高的）已登录YouTube账户以获得更准确的推断？我们探讨了这个决策和其他许多决策的影响，并对影响YouTube推荐的方法论选择做出了一些惊人的发现。总的来说，我们的研究建议YouTube的审核者和研究人员可以使用审核配置妥协措施来减少审核开销，既经济上又计算上，而不会牺牲推断的准确性。同样，我们还确定了一些配置参数对测量推断准确性具有重大影响，应该仔细考虑。
作者：Sarmad Chandio, Daniyal Pirwani Dar, Rishab Nithyanand
论文ID：2303.03445
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-03-08