风险预测模型外部验证的信息价值分析
摘要：模型验证的信息价值分析方法及其应用领域：一项风险预测模型在被用于指导患者护理之前，需要在目标人群的代表性样本中进行验证。验证样本的有限规模意味着对模型性能估计存在不确定性。我们应用“信息价值”的方法来量化这种不确定性对于NB（单位盈余）的影响。方法：我们定义了模型验证的完美信息期望值（Expected Value of Perfect Information，EVPI），以表示在特定风险阈值下，不确定地不知道哪种备选决策具有最高的NB而导致的预期NB损失。我们提出了基于贝叶斯或普通的NB自举法计算EVPI的方法，以及由中心极限定理支持的渐近方法。我们进行了简要的模拟研究，比较了这些方法的性能，并使用国际临床试验数据的子集来预测心脏梗死后的死亡率作为案例研究。结果：这三种计算方法在模拟研究中生成的EVPI值相似。在案例研究中，在预先确定的阈值0.02下，根据当前信息，最佳决策是使用该模型，其预期NB增量为0.0020。在该阈值下，EVPI为0.0005（相对EVPI为25%）。将其按照美国每年心脏病发作的数量进行缩放，这相当于每年损失400例真阳性或多出19,600例假阳性（不必要的治疗），这表明进一步模型验证的价值。如预期所料，验证EVPI通常随着样本规模的增大而降低。结论：信息价值方法可以应用于临床预测模型外部验证中计算的NB，以提供决策理论的视角，对不确定性的后果进行评估。
作者：Mohsen Sadatsafavi, Tae Yoon Lee, Laure Wynants, Andrew Vickers, Paul Gustafson
论文ID：2208.03343
分类：Applications
分类简称：stat.AP
提交时间：2023-07-20