NeuroAiR:基于头皮记录的神经信号的空中书写识别的深度学习框架

摘要:空中书写识别是一个任务,涉及通过手指运动识别在自由空间中书写的字母。它是姿势识别的一个特殊案例,其中姿势对应于特定语言中的字母。脑电图(EEG)是一种记录脑部活动的非侵入性技术,已广泛用于脑机接口应用。利用EEG信号进行空中书写识别为人机交互提供了一种有前途的替代输入方式。空中书写识别的一个关键优势是用户无需学习新的手势。通过连接识别的字母,可以形成各种词语,使其适用于更广泛的人群。然而,对于利用EEG信号识别空中书写的研究有限,这是本研究的核心关注点。首先构建了NeuroAiR数据集,其中包括在书写英文字母时记录的EEG信号。然后,探索了不同深度学习模型与各种特征的结合,以实现准确的空中书写识别。这些特征包括处理后的EEG数据、独立成分分析组分、基于源领域的斥侯时间序列以及基于球形和头部谐波分解的特征。此外,还全面调查了不同EEG频带对系统性能的影响。本研究取得的最高准确率为44.04%,使用独立成分分析组分和EEGNet分类模型。结果突显了基于EEG的空中书写识别作为人机交互应用中用户友好的模态的潜力。这项研究为未来的进展奠定了坚实的基础,并证明了基于EEG的空中书写识别的可行性和实用性。

作者:Ayush Tripathi, Aryan Gupta, A.P. Prathosh, Suriya Prakash Muthukrishnan, Lalan Kumar

论文ID:2308.03555

分类:Human-Computer Interaction

分类简称:cs.HC

提交时间:2023-08-08

PDF 下载: 英文版 中文版pdf翻译中