基于3D多尺度卷积的非接触心率估计模型

为了在真实环境下实现更准确的非接触式心率(HR)估计,提出一种远程光电容积描记术(rPPG)和HR信号恢复任务的端到端时空卷积神经网络(CNN)模型。模型使用3D多尺度卷积注意力获取多尺度特征并融合上下文信息。其次引入自注意力卷积长短期记忆(SA-ConvLSTM)提取具有全局依赖和局部依赖的时间空间特征。最后,根据rPPG和HR信号的强关联性,使用多任务学习方法来提高模型性能。在公开的UBFC-rPPG和COHFACE数据集上进行实验测试,结果表明:提出的网络模型在非接触式HR提取中具有更好鲁棒性。