在线互动学生同行评估系统中对并列评价进行排序
摘要：同伴评估在高等教育课程中是保持学生在演讲过程中参与的常见活动。准确定义学生如何评估他人的工作需要认真考虑。要求学生给出数值评分是最常用的方法。然而，学生们往往会给大部分项目评高分。因此，汇总同伴评估结果会导致所有项目得到相同的分数。此外，学生可能会策略性地给其他项目评低分，以使自己的项目脱颖而出。要求学生把所有项目从最好到最差进行排序对他们来说会造成很大的认知负荷，因为研究表明人们很难对超过少数几个项目进行排序。为了解决这些问题，我们提出了一种新颖的同伴评分模型，包括（a）一种引导学生评估的算法和（b）一个用于汇总评分以产生一个排序的协议。该算法要求学生评估项目并回答成对比较的问题。然后将这些评估结果聚合成项目的排名。基于我们的模型开发和测试了一个应用程序，并显示出有希望的结果，包括较少的投票冲突和学生之间通信负荷显著减少。这些结果表明该模型提供了一种简单、准确和高效的同伴评审方法。
作者：Lihi Dery
论文ID：2212.13774
分类：Computer Science and Game Theory
分类简称：cs.GT
提交时间：2023-08-31