在不同估计方法下评估小样本环境中诊断分类模型的性能
摘要：诊断分类模型（DCMs）最近在心理测量学中广受欢迎，受到了形成性评估的呼吁的推动。尽管DCMs有潜力提供诊断信息，帮助课堂教学和学生学习，但将DCMs应用于课堂评估的实证研究非常有限。这部分是因为尚未很好地探讨了在小样本环境中不同估计方法的DCMs的性能如何。因此，本研究旨在通过使用不同估计方法的综合模拟设计来研究被试者分类和项目参数估计的性能，以类似于课堂评估的方式。主要发现如下：（1）虽然在最大似然（ML）、贝叶斯和非参数方法之间没有观察到显著的被试者分类准确性差异，但在简化的DCMs中，贝叶斯方法比ML方法提供了稍微更准确的被试者分类结果，在复杂的DCMs中，ML方法比贝叶斯方法产生了稍微更好的结果；（2）贝叶斯方法和ML方法在项目参数恢复方面表现都不好，由于复杂的DCMs下后验分布的多峰性，贝叶斯方法呈现出不稳定的滑动值，而ML方法在简化的DCMs下由于边界问题产生了不规则的估计结果，看起来似乎是良好估计。
作者：Motonori Oka, Kensuke Okada
论文ID：2104.10975
分类：Computation
分类简称：stat.CO
提交时间：2022-08-26