DuETT：用于电子健康记录的双事件时间变换器
摘要：电子健康记录（EHR）通常包含在医院环境中记录的一系列数字时间序列数据，其特点是稀疏性高且观测不规则。对于这种数据的有效建模必须充分利用其时间序列性质、不同类型观测之间的语义关系以及数据的稀疏性结构中的信息。自监督Transformer在自然语言处理和计算机视觉的各种结构化任务中表现出色。但是，多变量时间序列数据包含两个维度上的结构关系：时间和记录事件类型，而直接将Transformer应用于时间序列数据并没有充分利用这种独特结构。自注意力层的二次缩放还可以显著限制输入序列长度，而不需要适当的输入工程。我们介绍了DuETT架构，这是Transformer的一个扩展版本，旨在对时间和事件类型两个维度进行关注，从而从EHR数据中得到稳健的表示。DuETT使用聚合输入，将稀疏时间序列转化为具有固定长度的常规序列；相对于先前的EHR Transformer模型，这降低了计算复杂度，并且更重要的是，使得可以使用更大更深的神经网络。当通过自监督预测任务进行训练时，可以为模型的预训练提供丰富和信息丰富的信号，我们的模型在MIMIC-IV和PhysioNet-2012 EHR数据集的多个下游任务中优于最先进的深度学习模型。
作者：Alex Labach, Aslesha Pokhrel, Xiao Shi Huang, Saba Zuberi, Seung Eun Yi, Maksims Volkovs, Tomi Poutanen, Rahul G. Krishnan
论文ID：2304.13017
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-17