评估基于动力学数据的时间卷积网络在外科手势和动作识别中的任务泛化能力

摘要:细粒度的活动识别有助于机器人辅助手术中对技能评估、自主性和错误检测的可解释性分析。然而,现有的识别模型存在着已标注的运动和视频数据集的有限可用性以及对未知学科和任务的泛化能力的问题。外科机器人的机动数据对于安全监测和自主性至关重要,因为它不受常见的相机问题(如遮挡和镜头污染)的影响。我们利用一个由28名受试者的六个干实验外科任务组成的聚合数据集,仅使用运动数据来训练手势和运动原语(MP)级别的活动识别模型,并分别应用于单独的机器人臂。我们使用LOUO(留出一个用户)和我们提出的LOTO(留出一个任务)交叉验证方法来评估模型对未知用户和任务的泛化能力。手势识别模型的准确性和编辑分数比MP识别模型更高。但是,使用MP可以训练出更好地泛化到未知任务的模型。此外,通过为左右机器人臂训练单独的模型,可以实现更高的MP识别准确性。对于任务泛化,如果在相似任务和/或相同数据集的任务上进行训练,MP识别模型的表现最佳。

作者:Kay Hutchinson, Ian Reyes, Zongyu Li, and Homa Alemzadeh

论文ID:2306.16577

分类:Robotics

分类简称:cs.RO

提交时间:2023-08-09

PDF 下载: 英文版 中文版pdf翻译中