融合rPPG和人脸三维法向量的非接触情绪感知技术

近年来,基于深度学习的情绪识别技术取得了显著进展。然而,现有方法主要集中在面部图像或视频上,忽略了其他模态信息,导致鲁棒性和稳定性不足。为了解决这一问题,提出了一种融合多模态信息的面部表情识别方法。首先将输入的人脸视频进行远程光电容积脉搏波(Remote Photo plethysmography,rPPG)信号和人脸三维法向量的提取,其次将这两种模态的信息输入其相应的情绪特征提取子网络,提取出对应的情绪特征向量。然后,将这两种模态提取出的情绪特征向量进行融合,生成一个丰富的特征向量,最后将其输入分类器进行情绪分类任务。通过这种多模态信息融合的方式,提高了面部表情识别的准确性和稳定性。对所提方法在不同数据集上进行了验证,实验结果表明,该方法在多样化面部表情识别中的表现优于当前先进的情感识别方法,具有更高的鲁棒性和稳定性。

基于多级任务的“视觉脉诊”方法研究

脉诊对中医诊断至关重要。然现有脉诊客观化高度依赖设备,阻碍其在远程在线诊疗中推广。受近年来基于远程光电容积脉搏波描记法(Remote Photoplethysmography,rPPG)的视频非接触式生理参数检测启发,本文提出了一种基于rPPG的“视觉脉诊”方法,以面部视频为输入预测中医脉象;研究通过多尺度融合及多任务学习进行ROI检测,利用深度卷积神经网络进行滤波获取纯净血容量脉搏波,后基于深度神经网络进行脉象预测。经真实病例验证后发现,基于深度学习及多级任务的“视觉脉诊”准确率可达85%以上,且优于其他rPPG法。“视觉脉诊”研究创新了非接触式脉诊研究范式,未来可推广至中医移动医疗,具有较大应用价值。

基于交叉滑动窗口模型算法的非接触心率测量方法

为解决传统接触式心率测量系统设备昂贵、操作复杂的问题,在远程光电容积描记法(remote photoplethysmography,r PPG)测量心率的基础上,提出一种基于交叉滑动窗口模型(cross sliding window model,CSWM)算法的非接触心率测量方法。首先调用人脸检测模型SSD300检测视频中的人脸,然后使用Otsu算法对人脸皮肤区域进行分割,并用形态学方法腐蚀皮肤之间的眼睛、嘴巴区域,同时用KCF算法跟踪人脸,并将人脸区域均分为2×2的大小,然后使用CHROM算法提取rPPG波形,最后运用CSWM方法对rPPG波形进行处理,得到实时变化的心率。实验结果表明:该方法计算出的心率与同时用脉搏血氧仪测出的心率之间的平均准确率为97.9217%,Bland-Altman一致性系数达0.962302,完全满足临床要求。

基于CEEMDAN-FastICA算法的非接触心率检测

为了降低照明变化、相机内部等噪声干扰对远程光电容积描记法检测心率的误差,提出基于自适应噪声完备集合经验模态分解(CEEMDAN)与快速独立成分分析(FastICA)相结合的去噪方法,实现非接触式心率准确检测。首先对视频图像中人脸68个关键点进行检测,获得感兴趣区域(ROI)并得到源信号;然后通过CEEMDAN对源信号进行分解并选取合适频段内的固有模式函数(IMF)进行重构,对重构信号进行FastICA盲源分离后将RGB各通道信号进行快速傅里叶变换,最终利用频谱峰值对应频率计算得到心率。对10名不同性别和年龄的人员进行了实验测量,并将测量结果与脉搏血氧检测参考仪器进行了对比分析,测量均方根误差和平均绝对误差分别为0.72bpm和0.60bpm。实验结果表明,所提方法能够有效去除心率检测源信号中的噪声,提高心率检测的准确性。

基于人脸视频的非接触式心率测量系统研究

心率作为一项重要的生理特征信息,在医疗诊断方面有着不可替代的作用。非接触式心率检测无须与测试者直接接触即可测量出心率,避免了传统心率测量时测试者长时间接触仪器造成的不适,且成本更低,便携性更好。文章提出一种结合ICA和小波变换的算法,对摄像头输入的人脸视频依次进行颜色空间转换、降噪、时频域变换等操作,并搭建了一个基于人脸视频的心率测算系统,针对不同指标设计了多个实验。实验结果表明,系统能够快速实时检测人体心率数据,实现非接触式心率检测,满足心率检测需求。

基于生成对抗学习的标准rPPG信号生成

为了提高生成远程光电容积脉搏波描记法(remote Photoplethysmography,rPPG)信号的波形规律性,降低心率计算难度,提出了一种标准化rPPG的信号生成方法。将人脸视频输入到生成对抗网络的生成器中,生成器通过有标签数据进行监督训练,预测得到人脸视频中蕴含的rPPG信号。为了进一步优化生成器的预测结果,使用数学建模方法生成标准的rPPG信号,并将其与生成器预测的信号同时输入至判别器中进行对抗学习,不断优化生成器参数,使得生成器能够学习标准信号的波形分布。这样,生成器预测的信号波形在形态上更接近于真实rPPG信号的波形分布,从而有利于后续心率计算。在不同数据集上进行的实验结果表明,该方法可以显著提高预测的准确性,且拥有更高的信噪比。

模型和盲源分离融合的运动鲁棒视频心率检测

远程光电容积描记法(rPPG)是一种基于视频的非接触心率检测技术,由于其携带的血容量脉搏(BVP)信号幅值微弱易受运动噪声影响。本文提出一种融合色差模型和盲源分离的运动鲁棒视频心率检测技术。一方面,对每个感兴趣区域(ROIs)采用色差模型并时延构建多通道数据集,凸显准周期变量同时抑制无规律运动噪声;另一方面,采用联合盲源分离提取共同包含于两个数据集中的BVP源分量向量(SCVs),筛选合适的SCV确定为BVP信号,从而计算心率值。所提方法在数据库UBFC-RPPG和ECG-Fitness上验证并与其他方法对比,在剧烈运动场景下性能最佳,心率HR_(mae)=9.93 bpm,HR_(rmse)=16.17 bpm,相关系数r=0.75,为rPPG技术的实用化进程提供了解决思路。

基于移动端的非接触心率检测系统研究与设计

心率的检测对人体健康监护有重要的意义,目前主流心率检测设备需与皮肤直接接触,这种方式容易引起传染性疾病的传播风险并给用户带来负担;为了解决这些问题,开发了一款基于安卓移动端设备的心率检测应用,可实现非接触式的心率检测并将检测结果展示在主界面上,完成用户自主的心率检测功能;根据远程光电容积描记法原理,从人体皮肤的图像数据中可以提取出心率信息,因此应用中封装了欧拉视频放大算法来实现非接触式心率信号检测,可通过采集面部图像数据来进行人体心率的估计;该应用操作简便,使用场景也不受限制,在真实环境中的实验结果表明,其检测结果与真实心率间的均方根误差为2.93,误差较小且与真实心率具有较高一致性,其检测精度能够满足用户使用需求。

基于深度时空特征模型的非接触式心率估计方法

为了提升心率计算在不同光照和运动条件下的准确率,提出了一种基于深度时空特征模型的创新方法——非接触式心率计算方法:对输入的人脸视频分别利用卷积神经网络(CNN)提取空间特征和利用长短期记忆网络(LSTM)提取时序特征,将这两种特征融合之后,模型对微弱的血液容积脉冲(BVP)信号展现出更强的表征能力.在自采的ZJXU-Phys数据集上进行验证,新方法在各种条件下均表现出色,其有效性和实用性得到了验证.

非规律运动伪迹干扰鲁棒的人脸视频心率检测

目的 基于远程光电容积脉搏波描记法(remote photoplethysmograph,rPPG)的非接触人脸视频心率检测广泛应用于移动健康监护领域,由于其携带的生理参数信息幅值微弱,容易受到运动伪迹干扰。据此,提出了一种结合非负矩阵分解(nonnegative matrix factorization,NMF)和独立向量分析(independent vector analysis,IVA)的非规律运动伪迹去除的视频心率检测方法,记为NMF-IVA。方法 首先,将面部感兴趣区域(region of interest,RoI)分为多个子区域(sub RoIs,SRoIs),利用平均光照强度、光照强度变化、信噪比这3个指标筛选出3个最优质的SRoIs,并获取每个SRoI的绿色通道时间序列。其次,将3个绿色通道时间序列去趋势、带通滤波后送入NMF-IVA进行盲源分离。然后,对分离后的源信号进行功率谱密度分析,并且将峰值信噪比最高且主频落在心率感兴趣范围内的源信号确定为血容量脉冲(blood volume pulse,BVP)信号。最后,将BVP信号的主频确定为所测量心率的主频,从而计算出心率值。结果 实验在2个公开数据集UBFC-RPPG和UBFC-PHYS,及1个真实场景自采数据集上与最相关的7种典型的rPPG方法进行比较,在UBFC-RPPG数据集上,相比于性能第2的单通道滤波(single channel filtering,SCF)方法,均方根误差提升了1.39 bpm(beat per minute)、平均绝对误差提升了1.25 bpm、皮尔逊相关系数提升了0.02;在UBFC-PHYS数据集上的T2情况下,其性能提升最为显著,相比于性能第2的独立向量分析(IVA)方法,均方根误差提升了16.42 bpm、平均绝对误差提升了9.91 bpm、皮尔逊相关系数提升了0.64;在自采数据集上,除了低于深度学习方法性能之外,所提NMF-IVA方法在传统方法中取得了最好的结果。结论 所提NMF-IVA方法对规律信号提取具有敏感性,即便是在头部存在剧烈非规律运动情况下,相比于传统方法亦能取得最优结果,该结果能够媲美基于深度学习的方法。

人脸运动状态下的非接触式心率稳定测量算法

远程光电容积描记法(rPPG)可用于从人脸视频中计算得到心率,但目前提出的rPPG算法大多对受试者要求和限制较多,不利于日常条件下心率的稳定测量。提出了一种肤色正交平面算法(POS)的改进算法,针对在实际环境下由于被测者头部运动导致心率测量结果精确度较低的问题,利用基于颜色畸变的频域滤波器和POS算法,首先对信号在频率域上进行频域滤波处理,再送入POS算法进行时域滤波,以此减少不同噪声对信号质量的影响。结果表明,本算法各项评价指标相较于其它算法均有所提升,适用于人脸运动状态下心率的稳定检测。

一种基于嵌入式平台的非接触式心率监测系统研究

心率的长期监测对心血管疾病的预防和治疗具有重要意义。当前心率检测常用的监护仪、心电图机、智能手表和运动手环等均属于接触式测量装置,长期佩戴易产生压痕,甚至给使用者带来不适。在非接触测量方面,远程光电容积脉搏波描记法(remote photoplethysmography, rPPG)可以通过分析面部视频获取心率,是一种很有潜力的心率长期监测方法。目前,绝大多数对于rPPG的研究都在使用电脑做数据分析,体积过大不易摆放,难以满足医学临床和家庭日常使用的需求。针对这一问题,本文尝试在嵌入式平台上依据rPPG原理实现心率监测。监测系统主要由树莓派4B开发板、相机和触摸屏组成。采用AdaBoost算法实现人脸识别与追踪,选取额头和脸颊作为感兴趣区域(range of interest, ROI),利用巴特沃斯带通滤波去噪,根据POS模型提取BVP波形,对来自不同ROI的BVP波形做盲源分离得到最终的脉搏波,最后利用能谱分析计算心率。实验结果表明本文所研究的系统具有与PC端相同的心率检测准确性和鲁棒性。本文的研究成果可以为心率长期监测设备的小型化和普及做出自己的贡献,也可以为智慧医疗中的远程监测治疗提供有力的保障。

基于rPPG的生理指标测量方法综述

远程光电容积脉搏波描记法(remote photoplethysmography,rPPG)是指通过摄像头等传感器来捕捉由心动周期造成的皮肤颜色周期性变化的技术。利用rPPG技术可以提取血液体积脉冲信号,进而测量心率、呼吸率和心跳变异性等心动周期相关的生理指标。近年基于rPPG的生理指标测量方法取得了飞速发展,准确性和鲁棒性已得到了大幅提高。该类技术的算法流程主要包括图像/视频的获取和感兴趣区域提取、血液体积脉冲信号提取和生理指标测量等步骤。基于这一算法流程,本文从算法所依据的假设或先验知识出发,对相关文献进行了总结和讨论。此外,还从评测任务、评测数据、评测指标及评测协议等4个方面系统整理针对基于rPPG的生理指标测量方法的评价体系。最后,本文讨论了该领域当前所面临的挑战并展望了可能的技术路线。

光的偏振特性对rPPG信号的影响研究

远程光电容积脉搏波描记法(remote Photoplethysmography,rPPG)通过分析目标区域的光线周期性变化来实现人体心率的测量,测量过程中会引入大量噪声。在这些噪声中,皮肤表面漫反射光是一种公认的常见噪声。根据光与生物组织相互作用的原理可知,没有接触到皮下动脉血管的后向散射光也属于噪声,本文中称其为浅层噪声。根据作者的文献调研,在rPPG研究领域还没有对这种噪声及其消除方法进行研究的论文。为探究如何更好的使用偏振成像方法消除这两种噪声,本文对人体面部成像光束的偏振特性进行系统性分析,得出以下结论:(1) 使用纯S光或纯P光作为入射光,后向散射光与入射光的偏振方向 有差异,使用检偏器与起偏器通光轴正交的方法无法完全消除噪声,而应该让检偏器通光轴与成像光束的主要偏振方向正交;(2) 面部成像光束的偏振度分布不均匀,额头的偏振度最高,作为rPPG测量时的ROI更为合适。本文的研究结果可帮助使用偏振成像的rPPG系统得到质量更好的信号,提高信号质量和心率测量的准确性。