大学生对开放性任务的答案的手动和机器分数的特征
摘要：大规模测试中机器评分在大学教育中学习评估是决策者、教育者、家长和学生关心的关键问题之一。合适地评估学习可能需要将开放式答题测试纳入评估体系中。我们对使用开放式测试措施时评分成本和其他问题（例如反馈时间和读者一致性）是否能通过机器评分的方式加以解决进行了研究。在14所大学的1359名学生中进行的分析发现，两名人类评分者在给三种开放式问题的答案评分上高度一致。这些由评分者分配的分数也与计算机分配的分数高度一致。机器分配的分数与SAT成绩、大学成绩和其他指标的相关性与手动分配的分数的相关性相当。机器评分并未扩大种族/族裔或性别群体之间的平均分差异。我们的研究结果表明，机器评分可以通过提供一种快速、准确和经济的方式对答案进行评分，从而在大规模测试计划中促进开放式问题的使用。
作者：Stephen P. Klein
论文ID：0805.2829
分类：Applications
分类简称：stat.AP
提交时间：2008-12-18