融合rPPG和人脸三维法向量的非接触情绪感知技术

近年来,基于深度学习的情绪识别技术取得了显著进展。然而,现有方法主要集中在面部图像或视频上,忽略了其他模态信息,导致鲁棒性和稳定性不足。为了解决这一问题,提出了一种融合多模态信息的面部表情识别方法。首先将输入的人脸视频进行远程光电容积脉搏波(Remote Photo plethysmography,rPPG)信号和人脸三维法向量的提取,其次将这两种模态的信息输入其相应的情绪特征提取子网络,提取出对应的情绪特征向量。然后,将这两种模态提取出的情绪特征向量进行融合,生成一个丰富的特征向量,最后将其输入分类器进行情绪分类任务。通过这种多模态信息融合的方式,提高了面部表情识别的准确性和稳定性。对所提方法在不同数据集上进行了验证,实验结果表明,该方法在多样化面部表情识别中的表现优于当前先进的情感识别方法,具有更高的鲁棒性和稳定性。

基于区域注意和分离重组的rPPG信号提取网络

远程光体积描记(remote photoplethysmography,rPPG)近年来在非接触式生理信号检测领域是一个十分活跃的研究课题.现有算法大都直接从全部人脸区域中提取脉搏信号,面部信号获取多样性和层次性差,而且现有提取网络主要关注局部时空信息,时空通道特征建模不足,难以准确估计心率值.本文提出一种基于区域注意和分离重组的rPPG提取网络FASRNet.为了获取不同区域中信号的分布特征,设计了一种分区域注意力融合网络,将输入数据在空间维度上划分为三个区域并分别进行注意力学习.接着构建了一种特征-注意分离重组结构,同时增强了时间、空间和通道单个维度内和三个维度间的信息交互作用.在两个公开的数据集上进行的大量实验表明,所提算法的性能优于现有方法.

基于RPPG的生理信号(心率)测量技术的探究

RPPG——远程光电体积描记术,是一种利用图片或视频非接触、远程测量生理信号的光学测量技术,与传统的接触式测量方式相比具有成本低、适用范围广等特点,是一个十分有前景的研究方向。因此本文以测量心率为例介绍了RPPG的一般测量步骤,并且介绍了现有的一些优化技术及算法。

rppg技术在驾驶员饮酒后心率检测的应用探索

为减少酒驾在交通中的事故率,不少的学者都进行了大量研究,但值得注意的是对于非接触式酒驾检测大部分还都主要致力于酒精气体的检测,使用非接触式方式检测驾驶员的生理信号检测酒驾的相关研究还较少,文章围绕非接触式检测驾驶员饮酒后生理指标这一问题进行rppg检测心率的研究,为非接触式检测生理指标判断酒驾提供了一种实验方案。

基于多级任务的“视觉脉诊”方法研究

脉诊对中医诊断至关重要。然现有脉诊客观化高度依赖设备,阻碍其在远程在线诊疗中推广。受近年来基于远程光电容积脉搏波描记法(Remote Photoplethysmography,rPPG)的视频非接触式生理参数检测启发,本文提出了一种基于rPPG的“视觉脉诊”方法,以面部视频为输入预测中医脉象;研究通过多尺度融合及多任务学习进行ROI检测,利用深度卷积神经网络进行滤波获取纯净血容量脉搏波,后基于深度神经网络进行脉象预测。经真实病例验证后发现,基于深度学习及多级任务的“视觉脉诊”准确率可达85%以上,且优于其他rPPG法。“视觉脉诊”研究创新了非接触式脉诊研究范式,未来可推广至中医移动医疗,具有较大应用价值。

基于交叉滑动窗口模型算法的非接触心率测量方法

为解决传统接触式心率测量系统设备昂贵、操作复杂的问题,在远程光电容积描记法(remote photoplethysmography,r PPG)测量心率的基础上,提出一种基于交叉滑动窗口模型(cross sliding window model,CSWM)算法的非接触心率测量方法。首先调用人脸检测模型SSD300检测视频中的人脸,然后使用Otsu算法对人脸皮肤区域进行分割,并用形态学方法腐蚀皮肤之间的眼睛、嘴巴区域,同时用KCF算法跟踪人脸,并将人脸区域均分为2×2的大小,然后使用CHROM算法提取rPPG波形,最后运用CSWM方法对rPPG波形进行处理,得到实时变化的心率。实验结果表明:该方法计算出的心率与同时用脉搏血氧仪测出的心率之间的平均准确率为97.9217%,Bland-Altman一致性系数达0.962302,完全满足临床要求。

Dbase Ⅲ报表打印程序自动生成器的设计与实现

本文介绍了一种新型的Dbase Ⅲ报表打印程序生成器.该系统采用交互式和功能语言编译相结合的用户接口.使用灵活方便,可以大大减轻报表打印程序的编制工作.

基于遥测光电容积脉搏波描记法的心率测量综述

遥测光电容积脉搏波描记法(remote photoplethysmography,rPPG)是一种无需接触即可实现心率等生理信号测量的技术,在重症监护、情绪感知、驾驶员状态评估等医疗和工业领域中都有较大的应用潜力。然而基于遥测光电容积脉搏波描记法的非接触心率测量容易受到光照、运动等多种因素干扰,为提高非接触式生理指标测量的精度,中外学者做了大量的研究工作。系统性地综述了基于rPPG的非接触式心率为代表的生理指标测量研究进展。首先,概述了rPPG技术的背景和原理,而后对比分析了基于rPPG心率测量的主流传统方法,此外对基于深度学习的rPPG心率测量最新研究进展进行了分类阐述,最后讨论了非接触心率测量的前景以及未来研究方向。

基于移动端的非接触心率检测系统研究与设计

心率的检测对人体健康监护有重要的意义,目前主流心率检测设备需与皮肤直接接触,这种方式容易引起传染性疾病的传播风险并给用户带来负担;为了解决这些问题,开发了一款基于安卓移动端设备的心率检测应用,可实现非接触式的心率检测并将检测结果展示在主界面上,完成用户自主的心率检测功能;根据远程光电容积描记法原理,从人体皮肤的图像数据中可以提取出心率信息,因此应用中封装了欧拉视频放大算法来实现非接触式心率信号检测,可通过采集面部图像数据来进行人体心率的估计;该应用操作简便,使用场景也不受限制,在真实环境中的实验结果表明,其检测结果与真实心率间的均方根误差为2.93,误差较小且与真实心率具有较高一致性,其检测精度能够满足用户使用需求。

基于视频的生理参数测量技术及研究进展

生理体征参数的临床监测对于个体的健康管理、疾病的预防与跟踪具有重要的意义。远程光电容积描计法(remote photoplethysmography,rPPG)是一项新兴的、基于摄像头的、无接触方便快捷的生理体征参数测量技术。血管内部血液的流动造成人体表皮颜色的微弱变化,通过计算机对这一周期性变化的信息进行放大提取,便可以分析出与心脏运作相关的体征参数,如心率、血压等。RPPG自2008年提出之后得到了飞速的发展,其准确率、鲁棒性、实用性都得到了大幅度的提高。RPPG的检测流程主要是从图像传感器获取人体面部数据开始,随后基于图像及信号处理技术完成微弱脉冲波形的提取及相关体征参数的计算。从rPPG的基本检测流程出发,对rPPG的硬件采集设备进行介绍,重点描述从rPPG中提取心率的算法,进一步介绍rPPG相关的应用研究,就未来rPPG可能的研究方向进行了展望。

基于视频放大与盲源分离的非接触式心率检测

非接触式心率(HR)检测可以通过远程光电容积描记术(rPPG)实现,引起越来越多的关注.但在实际应用中,rPPG信号非常细微,极易被噪声淹没,从而导致现有的基于rPPG的心率检测方法很难准确地估计心率.针对以上问题,本文提出了一种增强rPPG信号、抑制噪声的非接触式心率检测方法.在这种方法中,首先通过欧拉颜色放大技术对正常HR分布频带上的色度信息进行放大,避免rPPG信号过小被噪声淹没;接着使用人脸检测与跟踪技术选定合适的感兴趣皮肤区域;然后在感兴趣区域内提取放大后的色度信息,使用盲源分离方法和相关性分析分离出rPPG信号;最后对rPPG信号进行时域滤波与功率谱密度分析,估计出HR值.经多组实验验证,本文所提方法相比于以前方法具有更高的HR估计精度.

基于rPPG的生理指标测量方法综述

远程光电容积脉搏波描记法(remote photoplethysmography,rPPG)是指通过摄像头等传感器来捕捉由心动周期造成的皮肤颜色周期性变化的技术。利用rPPG技术可以提取血液体积脉冲信号,进而测量心率、呼吸率和心跳变异性等心动周期相关的生理指标。近年基于rPPG的生理指标测量方法取得了飞速发展,准确性和鲁棒性已得到了大幅提高。该类技术的算法流程主要包括图像/视频的获取和感兴趣区域提取、血液体积脉冲信号提取和生理指标测量等步骤。基于这一算法流程,本文从算法所依据的假设或先验知识出发,对相关文献进行了总结和讨论。此外,还从评测任务、评测数据、评测指标及评测协议等4个方面系统整理针对基于rPPG的生理指标测量方法的评价体系。最后,本文讨论了该领域当前所面临的挑战并展望了可能的技术路线。

光的偏振特性对rPPG信号的影响研究

远程光电容积脉搏波描记法(remote Photoplethysmography,rPPG)通过分析目标区域的光线周期性变化来实现人体心率的测量,测量过程中会引入大量噪声。在这些噪声中,皮肤表面漫反射光是一种公认的常见噪声。根据光与生物组织相互作用的原理可知,没有接触到皮下动脉血管的后向散射光也属于噪声,本文中称其为浅层噪声。根据作者的文献调研,在rPPG研究领域还没有对这种噪声及其消除方法进行研究的论文。为探究如何更好的使用偏振成像方法消除这两种噪声,本文对人体面部成像光束的偏振特性进行系统性分析,得出以下结论:(1) 使用纯S光或纯P光作为入射光,后向散射光与入射光的偏振方向 有差异,使用检偏器与起偏器通光轴正交的方法无法完全消除噪声,而应该让检偏器通光轴与成像光束的主要偏振方向正交;(2) 面部成像光束的偏振度分布不均匀,额头的偏振度最高,作为rPPG测量时的ROI更为合适。本文的研究结果可帮助使用偏振成像的rPPG系统得到质量更好的信号,提高信号质量和心率测量的准确性。

非规律运动伪迹干扰鲁棒的人脸视频心率检测

目的 基于远程光电容积脉搏波描记法(remote photoplethysmograph,rPPG)的非接触人脸视频心率检测广泛应用于移动健康监护领域,由于其携带的生理参数信息幅值微弱,容易受到运动伪迹干扰。据此,提出了一种结合非负矩阵分解(nonnegative matrix factorization,NMF)和独立向量分析(independent vector analysis,IVA)的非规律运动伪迹去除的视频心率检测方法,记为NMF-IVA。方法 首先,将面部感兴趣区域(region of interest,RoI)分为多个子区域(sub RoIs,SRoIs),利用平均光照强度、光照强度变化、信噪比这3个指标筛选出3个最优质的SRoIs,并获取每个SRoI的绿色通道时间序列。其次,将3个绿色通道时间序列去趋势、带通滤波后送入NMF-IVA进行盲源分离。然后,对分离后的源信号进行功率谱密度分析,并且将峰值信噪比最高且主频落在心率感兴趣范围内的源信号确定为血容量脉冲(blood volume pulse,BVP)信号。最后,将BVP信号的主频确定为所测量心率的主频,从而计算出心率值。结果 实验在2个公开数据集UBFC-RPPG和UBFC-PHYS,及1个真实场景自采数据集上与最相关的7种典型的rPPG方法进行比较,在UBFC-RPPG数据集上,相比于性能第2的单通道滤波(single channel filtering,SCF)方法,均方根误差提升了1.39 bpm(beat per minute)、平均绝对误差提升了1.25 bpm、皮尔逊相关系数提升了0.02;在UBFC-PHYS数据集上的T2情况下,其性能提升最为显著,相比于性能第2的独立向量分析(IVA)方法,均方根误差提升了16.42 bpm、平均绝对误差提升了9.91 bpm、皮尔逊相关系数提升了0.64;在自采数据集上,除了低于深度学习方法性能之外,所提NMF-IVA方法在传统方法中取得了最好的结果。结论 所提NMF-IVA方法对规律信号提取具有敏感性,即便是在头部存在剧烈非规律运动情况下,相比于传统方法亦能取得最优结果,该结果能够媲美基于深度学习的方法。

一种基于嵌入式平台的非接触式心率监测系统研究

心率的长期监测对心血管疾病的预防和治疗具有重要意义。当前心率检测常用的监护仪、心电图机、智能手表和运动手环等均属于接触式测量装置,长期佩戴易产生压痕,甚至给使用者带来不适。在非接触测量方面,远程光电容积脉搏波描记法(remote photoplethysmography, rPPG)可以通过分析面部视频获取心率,是一种很有潜力的心率长期监测方法。目前,绝大多数对于rPPG的研究都在使用电脑做数据分析,体积过大不易摆放,难以满足医学临床和家庭日常使用的需求。针对这一问题,本文尝试在嵌入式平台上依据rPPG原理实现心率监测。监测系统主要由树莓派4B开发板、相机和触摸屏组成。采用AdaBoost算法实现人脸识别与追踪,选取额头和脸颊作为感兴趣区域(range of interest, ROI),利用巴特沃斯带通滤波去噪,根据POS模型提取BVP波形,对来自不同ROI的BVP波形做盲源分离得到最终的脉搏波,最后利用能谱分析计算心率。实验结果表明本文所研究的系统具有与PC端相同的心率检测准确性和鲁棒性。本文的研究成果可以为心率长期监测设备的小型化和普及做出自己的贡献,也可以为智慧医疗中的远程监测治疗提供有力的保障。

基于视频监控的多指标疲劳预测方法研究

驾驶疲劳可以通过可穿戴设备测量司机的心率或用摄像头提取司机的面部特征来检测。然而,可穿戴设备会给司机带来不便,并且传统基于面部特征的疲劳识别方法准确率较低。为了解决这些问题,提出一种基于视频监控的多指标疲劳预测方法。该方法通过多任务卷积神经网络(Multi-task Cascaded Convolutional Networks,MTCNN)进行人脸区域检测;利用级联回归树(Ensemble of Regression Trees,ERT)检测人脸特征点,对额头、嘴巴和眼睛进行定位;根据嘴巴和眼睛的坐标计算张嘴程度和睁眼程度,利用remote PPG(rPPG)计算心率变异性(Heart Rate Variability,HRV);通过随机森林(Random Forest,RF)对其进行降维和进一步特征提取,并输入支持向量机(Support Vector Machine,SVM)中进行疲劳预测。结果表明,提出的方法可以提高疲劳预测的准确度,并为危险性驾驶状态预警和干预系统的开发提供理论依据。