融合rPPG和人脸三维法向量的非接触情绪感知技术

近年来,基于深度学习的情绪识别技术取得了显著进展。然而,现有方法主要集中在面部图像或视频上,忽略了其他模态信息,导致鲁棒性和稳定性不足。为了解决这一问题,提出了一种融合多模态信息的面部表情识别方法。首先将输入的人脸视频进行远程光电容积脉搏波(Remote Photo plethysmography,rPPG)信号和人脸三维法向量的提取,其次将这两种模态的信息输入其相应的情绪特征提取子网络,提取出对应的情绪特征向量。然后,将这两种模态提取出的情绪特征向量进行融合,生成一个丰富的特征向量,最后将其输入分类器进行情绪分类任务。通过这种多模态信息融合的方式,提高了面部表情识别的准确性和稳定性。对所提方法在不同数据集上进行了验证,实验结果表明,该方法在多样化面部表情识别中的表现优于当前先进的情感识别方法,具有更高的鲁棒性和稳定性。

基于区域注意和分离重组的rPPG信号提取网络

远程光体积描记(remote photoplethysmography,rPPG)近年来在非接触式生理信号检测领域是一个十分活跃的研究课题.现有算法大都直接从全部人脸区域中提取脉搏信号,面部信号获取多样性和层次性差,而且现有提取网络主要关注局部时空信息,时空通道特征建模不足,难以准确估计心率值.本文提出一种基于区域注意和分离重组的rPPG提取网络FASRNet.为了获取不同区域中信号的分布特征,设计了一种分区域注意力融合网络,将输入数据在空间维度上划分为三个区域并分别进行注意力学习.接着构建了一种特征-注意分离重组结构,同时增强了时间、空间和通道单个维度内和三个维度间的信息交互作用.在两个公开的数据集上进行的大量实验表明,所提算法的性能优于现有方法.

基于遥测光电容积脉搏波描记法的心率测量综述

遥测光电容积脉搏波描记法(remote photoplethysmography,rPPG)是一种无需接触即可实现心率等生理信号测量的技术,在重症监护、情绪感知、驾驶员状态评估等医疗和工业领域中都有较大的应用潜力。然而基于遥测光电容积脉搏波描记法的非接触心率测量容易受到光照、运动等多种因素干扰,为提高非接触式生理指标测量的精度,中外学者做了大量的研究工作。系统性地综述了基于rPPG的非接触式心率为代表的生理指标测量研究进展。首先,概述了rPPG技术的背景和原理,而后对比分析了基于rPPG心率测量的主流传统方法,此外对基于深度学习的rPPG心率测量最新研究进展进行了分类阐述,最后讨论了非接触心率测量的前景以及未来研究方向。

基于交叉滑动窗口模型算法的非接触心率测量方法

为解决传统接触式心率测量系统设备昂贵、操作复杂的问题,在远程光电容积描记法(remote photoplethysmography,r PPG)测量心率的基础上,提出一种基于交叉滑动窗口模型(cross sliding window model,CSWM)算法的非接触心率测量方法。首先调用人脸检测模型SSD300检测视频中的人脸,然后使用Otsu算法对人脸皮肤区域进行分割,并用形态学方法腐蚀皮肤之间的眼睛、嘴巴区域,同时用KCF算法跟踪人脸,并将人脸区域均分为2×2的大小,然后使用CHROM算法提取rPPG波形,最后运用CSWM方法对rPPG波形进行处理,得到实时变化的心率。实验结果表明:该方法计算出的心率与同时用脉搏血氧仪测出的心率之间的平均准确率为97.9217%,Bland-Altman一致性系数达0.962302,完全满足临床要求。

基于视频信号的微血管自律运动频率测量

针对目前微血管运动的检测对设备要求较高,检测时间较长的问题,提出一种简便观测微血管自律运动频率的方法。通过手机摄像头拍摄人体舌面视频,预处理后提取每帧图片中的感兴趣区域,根据每个区域中像素灰度值的变化得到血液容积变化的时序曲线;然后通过小波分解对每个感兴趣区域颜色通道的血液容积变化信号进行降噪,对降噪后的信号进行独立成分分析以降低光照和环境因素影响;提取源信号频域中主要峰值点频率进行拟合,实验结果表明本课题所提取信号频率属于微血管自律运动频率范围。

基于视频的生理参数测量技术及研究进展

生理体征参数的临床监测对于个体的健康管理、疾病的预防与跟踪具有重要的意义。远程光电容积描计法(remote photoplethysmography,rPPG)是一项新兴的、基于摄像头的、无接触方便快捷的生理体征参数测量技术。血管内部血液的流动造成人体表皮颜色的微弱变化,通过计算机对这一周期性变化的信息进行放大提取,便可以分析出与心脏运作相关的体征参数,如心率、血压等。RPPG自2008年提出之后得到了飞速的发展,其准确率、鲁棒性、实用性都得到了大幅度的提高。RPPG的检测流程主要是从图像传感器获取人体面部数据开始,随后基于图像及信号处理技术完成微弱脉冲波形的提取及相关体征参数的计算。从rPPG的基本检测流程出发,对rPPG的硬件采集设备进行介绍,重点描述从rPPG中提取心率的算法,进一步介绍rPPG相关的应用研究,就未来rPPG可能的研究方向进行了展望。

基于视频放大与盲源分离的非接触式心率检测

非接触式心率(HR)检测可以通过远程光电容积描记术(rPPG)实现,引起越来越多的关注.但在实际应用中,rPPG信号非常细微,极易被噪声淹没,从而导致现有的基于rPPG的心率检测方法很难准确地估计心率.针对以上问题,本文提出了一种增强rPPG信号、抑制噪声的非接触式心率检测方法.在这种方法中,首先通过欧拉颜色放大技术对正常HR分布频带上的色度信息进行放大,避免rPPG信号过小被噪声淹没;接着使用人脸检测与跟踪技术选定合适的感兴趣皮肤区域;然后在感兴趣区域内提取放大后的色度信息,使用盲源分离方法和相关性分析分离出rPPG信号;最后对rPPG信号进行时域滤波与功率谱密度分析,估计出HR值.经多组实验验证,本文所提方法相比于以前方法具有更高的HR估计精度.

非规律运动伪迹干扰鲁棒的人脸视频心率检测

目的 基于远程光电容积脉搏波描记法(remote photoplethysmograph,rPPG)的非接触人脸视频心率检测广泛应用于移动健康监护领域,由于其携带的生理参数信息幅值微弱,容易受到运动伪迹干扰。据此,提出了一种结合非负矩阵分解(nonnegative matrix factorization,NMF)和独立向量分析(independent vector analysis,IVA)的非规律运动伪迹去除的视频心率检测方法,记为NMF-IVA。方法 首先,将面部感兴趣区域(region of interest,RoI)分为多个子区域(sub RoIs,SRoIs),利用平均光照强度、光照强度变化、信噪比这3个指标筛选出3个最优质的SRoIs,并获取每个SRoI的绿色通道时间序列。其次,将3个绿色通道时间序列去趋势、带通滤波后送入NMF-IVA进行盲源分离。然后,对分离后的源信号进行功率谱密度分析,并且将峰值信噪比最高且主频落在心率感兴趣范围内的源信号确定为血容量脉冲(blood volume pulse,BVP)信号。最后,将BVP信号的主频确定为所测量心率的主频,从而计算出心率值。结果 实验在2个公开数据集UBFC-RPPG和UBFC-PHYS,及1个真实场景自采数据集上与最相关的7种典型的rPPG方法进行比较,在UBFC-RPPG数据集上,相比于性能第2的单通道滤波(single channel filtering,SCF)方法,均方根误差提升了1.39 bpm(beat per minute)、平均绝对误差提升了1.25 bpm、皮尔逊相关系数提升了0.02;在UBFC-PHYS数据集上的T2情况下,其性能提升最为显著,相比于性能第2的独立向量分析(IVA)方法,均方根误差提升了16.42 bpm、平均绝对误差提升了9.91 bpm、皮尔逊相关系数提升了0.64;在自采数据集上,除了低于深度学习方法性能之外,所提NMF-IVA方法在传统方法中取得了最好的结果。结论 所提NMF-IVA方法对规律信号提取具有敏感性,即便是在头部存在剧烈非规律运动情况下,相比于传统方法亦能取得最优结果,该结果能够媲美基于深度学习的方法。

一种基于嵌入式平台的非接触式心率监测系统研究

心率的长期监测对心血管疾病的预防和治疗具有重要意义。当前心率检测常用的监护仪、心电图机、智能手表和运动手环等均属于接触式测量装置,长期佩戴易产生压痕,甚至给使用者带来不适。在非接触测量方面,远程光电容积脉搏波描记法(remote photoplethysmography, rPPG)可以通过分析面部视频获取心率,是一种很有潜力的心率长期监测方法。目前,绝大多数对于rPPG的研究都在使用电脑做数据分析,体积过大不易摆放,难以满足医学临床和家庭日常使用的需求。针对这一问题,本文尝试在嵌入式平台上依据rPPG原理实现心率监测。监测系统主要由树莓派4B开发板、相机和触摸屏组成。采用AdaBoost算法实现人脸识别与追踪,选取额头和脸颊作为感兴趣区域(range of interest, ROI),利用巴特沃斯带通滤波去噪,根据POS模型提取BVP波形,对来自不同ROI的BVP波形做盲源分离得到最终的脉搏波,最后利用能谱分析计算心率。实验结果表明本文所研究的系统具有与PC端相同的心率检测准确性和鲁棒性。本文的研究成果可以为心率长期监测设备的小型化和普及做出自己的贡献,也可以为智慧医疗中的远程监测治疗提供有力的保障。