可靠的遥测数据缺失下的实验
摘要：在线控制实验（也称为AB测试）被越来越多地用于决策和改进网站、移动应用和桌面应用程序。我们认为，数据上传或后处理中的遥测数据丢失会扭曲实验结果，导致统计功效降低和不准确或错误的结论。通过系统地研究遥测数据丢失的原因，我们认为完全消除遥测数据丢失是不切实际的。因此，实验系统需要能够抵抗其影响。此外，我们注意到，在实验系统中，衡量遥测数据丢失的绝对水平并不容易。在本文中，我们采用自上而下的方法解决这个问题。我们通过在实际应用中进行规模化的实验来定性地说明遥测数据丢失的影响，并通过理论分析来形式化该问题。基于这个基础，我们提出了一个通用框架来定量评估遥测数据丢失的影响，并提出了两种测量丢失绝对水平的解决方案。这个框架被微软的知名应用程序使用，拥有数百万用户和数十亿的会话。这些通用原则适用于任何应用程序，以提高实验和数据驱动决策的整体可靠性。
作者：Jayant Gupchup, Yasaman Hosseinkashi, Pavel Dmitriev, Daniel Schneider, Ross Cutler, Andrei Jefremov, Martin Ellis
论文ID：1903.12470
分类：Other Computer Science
分类简称：cs.OH
提交时间：2019-04-01