运动的重要性：用于更好相机生理测量的神经运动转移
摘要：相机基于生理测量的机器学习模型由于缺乏具代表性的训练数据而具有弱的概括能力。当试图从视频中恢复微弱的心脏脉搏时，身体动作是最重要的噪声来源之一。我们研究了动作转移作为一种数据增强形式，以引入动作变化同时保留感兴趣的生理变化。我们采用神经网络视频合成方法来增强用于远程光电容性测量（rPPG）任务的视频，并研究动作增强对于1）动作幅度和2）动作类型的影响。通过在公开可得的数据集的动作增强版本上进行训练，我们展示了与使用各种最先进方法在PURE数据集上的现有数据集间结果相比，47％的改进。我们还在五个基准数据集上给出了数据集间结果，展示了使用TS-CAN（一种神经rPPG估计方法）的改进高达79％。我们的研究结果表明，动作转移作为一种数据增强技术对于提高基于相机的生理感知模型的泛化能力是有用的。我们在三个公开可得的数据集UBFC-rPPG、PURE和SCAMPS上发布了使用动作转移作为数据增强技术的代码，并提供使用动作增强数据预训练的模型，网址为：https://motion-matters.github.io/。
作者：Akshay Paruchuri, Xin Liu, Yulu Pan, Shwetak Patel, Daniel McDuff, Soumyadip Sengupta
论文ID：2303.12059
分类：Computer Vision and Pattern Recognition
分类简称：cs.CV
提交时间：2023-09-01