大规模选课中针对简答题的NLP辅助形成性评估反馈的基础
摘要：大规模的写作任务在学习结果上有改善的作用，然而构建性反应的形式评估方法在大班授课中变得不灵活。本研究评估了自然语言处理算法来辅助这个目标。1935名学生完成了六个简答题，由多个人工评分员使用详细的评分标准和算法进行评分。结果显示，使用二次加权kappa系数对评分员成对进行评估时，有显著的一致性（每个QWK > 0.74），并且在团体一致性方面也有一定程度的一致性（Fleiss Kappa = 0.68）。此外，还估计了一个评分员在七年前对178个回答进行评分的内部一致性（QWK = 0.89）。在有令人信服的评分员一致性的基础上，本研究尝试对回答文本进行聚类分析，以便让教师能够将意义归结为聚类，作为可扩展的形成性评估手段的一种方法。
作者：Susan Lloyd, Matthew Beckman, Dennis Pearl, Rebecca Passonneau, Zhaohui Li, and Zekun Wang
论文ID：2205.02829
分类：Other Statistics
分类简称：stat.OT
提交时间：2023-01-30