同行评审者对理论、方法和写作进行同等批评，但对稿件内容的影响有限。
摘要：同行评审的目标是发现研究设计和解释中的缺陷，确保其呈现的清晰度和质量。然而，有人质疑同行评审是否达到了这一目标。一些研究强调了同行评审对生物医学科学中方法论和写作质量的批评重点，并较少关注理论基础。相比之下，社会科学领域的评审人员似乎更关注理论基础。这些研究还发现同行评审对文稿内容的影响是多样的，但总体上是积极的，并且影响很有限。我对40个社会科学预印本-出版物对的1,430条同行评审意见进行了定性分析，以确定评审人员意见的关键重点。然后，我通过使用归一化的Levenshtein距离、余弦相似度和标题、摘要、文档部分和全文的字数比例之间的差异来量化同行评审对文稿的影响。我还检查了版本之间使用的参考文献的变化，并将变化与评审人员的意见联系起来。评审人员的意见几乎均等地涉及方法论问题（30.7％）、理论问题（30.0％）和写作质量（29.2％）。标题、摘要和文档的语义内容保持相似，尽管出版物通常比预印本更长。两半数的引用文献保持不变，20.9％的引用文献在评审过程中添加，13.1％的引用文献被删除。这些发现表明评审人员同等关注文稿的理论和方法细节以及沟通风格，尽管对文稿的定量指标的影响有限。
作者：Dimity Stephen
论文ID：2110.07950
分类：Digital Libraries
分类简称：cs.DL
提交时间：2021-10-18