会议同行评审的系统级分析
摘要：会议的同行评审过程涉及三个不同目标的利益群体：作者希望他们的论文被权威会议接受（而且尽快），会议希望提供一个高质量且低质量论文较少的程序，评论者希望避免过多的评审负担。这些目标远未达到一致，主要原因是提交稿件的评估本质上是有噪声的。多年来，会议已经尝试了许多政策来平衡这些权衡。这些实验包括设置不同的接受标准、每篇稿件的评审数量的变化、要求将先前的评审结果包含在重新提交的稿件中等等。在这项工作中，我们从理论和实证两个方面研究了各种政策的有效性，以及更重要的是，它们为什么有效或无效。 我们将会议-作者的互动建模为一种斯塔克贝格博弈，其中权威会议承诺采取一项接受政策；作者在每一轮评审中通过重新提交或不重新提交来最佳响应会议的决策，作为替代方案可以是“确定接受”（如一个轻度评审的场所）。我们的主要结果包括以下观察：1）会议通常应该设置比实际所需质量更高的接受门槛；我们称之为“重新提交差距”。2）论文评审的负荷主要由边际论文的重新提交驱动 - 因此，明智地选择接受门槛可能会导致评审数量减少，同时在会议质量上承担可接受的损失。3）会议声誉、评论者准确度和作者耐心增加了重新提交差距，从而增加了在固定会议质量水平下的评审负荷。为了保证工作的稳健性，我们进一步考虑了不同的论文质量模型，并将我们的理论结果与基于真实数据估计的合理参数的仿真结果进行了比较。
作者：Yichi Zhang, Fang-Yi Yu, Grant Schoenebeck, David Kempe
论文ID：2303.09020
分类：Computer Science and Game Theory
分类简称：cs.GT
提交时间：2023-03-17