人脸反欺诈(Face anti-spoofing,FAS)在防止人脸识别系统遭受欺诈攻击方面起着至关重要的作用,得益于深度学习网络强大的特征提取能力,基于深度学习的FAS算法取得比基于传统手工特征算法更好的性能,成为近期的研究热点。尽管大多数基于...人脸反欺诈(Face anti-spoofing,FAS)在防止人脸识别系统遭受欺诈攻击方面起着至关重要的作用,得益于深度学习网络强大的特征提取能力,基于深度学习的FAS算法取得比基于传统手工特征算法更好的性能,成为近期的研究热点。尽管大多数基于深度学习的FAS算法能在库内达到很好的检测效果,但是跨库检测性能欠佳,主要原因是库内和库外数据往往在不同条件下采集,例如拍摄设备、环境光照和攻击呈现设备不同,导致库内和库外数据的分布不同,两者之间存在域位移。当训练数据的多样性不足时,容易在库内学习过程中过拟合,跨库泛化性能不好。尽管我们可以判断起因,然而在真实世界的应用过程中解决上述问题并不容易。一方面,人脸反欺诈模型难以收集所有场景下的有标签训练样本;另一方面,不同应用场景使得同一因素产生不同的影响,例如,不同场景的光照导致域位移,影响了分类模型对本质性欺诈纹理的提取。为此,本文将元伪标签引入人脸反欺诈任务,提出一种基于元伪标签的人脸反欺诈方法。主要贡献包括:第一,提出一种基于图像块的“教师生成伪标签,学生反馈”半监督学习框架,挖掘局部图像的高区分度特征,解决有标签样本不足的问题;第二,基于局部重力模式(Pattern of local gravitational force,PLGF),设计一种带有注意力模块的光照不变特征分支,抑制应用场景中最容易影响特征提取的光照因素;第三,将元学习与半监督学习框架相结合,优化教师生成伪标签的过程,提高算法的跨库检测能力。与现有流行算法相比,在三个公开的测试数据集(包括CASIA、Replay-Attack和MSU)上,所提出方法在库内测试和跨库测试下均有突出的表现,尤其是泛化性能得到显著提高。在样本数量中等时,在不同库中的半总错误率保持最低。展开更多
现有的人脸反欺诈(face anti-spoofing,FAS)方法虽然在域内测试表现良好,但在跨域场景下性能会大幅度下降.当前基于域对抗对齐的跨域人脸反欺诈方法,因其对齐网络和分类网络彼此独立,无法保证对齐任务直接服务于分类任务.提出了一种基...现有的人脸反欺诈(face anti-spoofing,FAS)方法虽然在域内测试表现良好,但在跨域场景下性能会大幅度下降.当前基于域对抗对齐的跨域人脸反欺诈方法,因其对齐网络和分类网络彼此独立,无法保证对齐任务直接服务于分类任务.提出了一种基于二次解耦与活体特征课程学习渐进式对抗对齐的域自适应人脸反欺诈(domain adaptation for face anti-spoofing based on dual disentanglement and liveness feature curriculum learning progressive adversarial alignment,DDCL)方法,首先将源域特征启发式解耦为域相关特征和域无关特征,之后使用分类器的梯度信息将域无关特征中的活体相关和无关特征进行第2次解耦.在训练过程中为减轻优化难度,通过课程学习的方式对目标域特征与活体相关、无关特征的组合进行渐进式对抗对齐,逐步提高活体相关特征的比重,增强目标域特征与活体检测任务的相关性,从因果角度给出活体对齐域自适应的解释.在CASIA-MFSD,Idiap Replay-Attack,MSU-MFSD与OULU-NPU公开数据集上的实验结果表明,与现有10种方法相比,所提出的方法获得了22.5%的最佳平均HTER值,并在4个测评协议上均达到了当前先进水平,尤其是I-M和O-M测评协议的HTER值分别达到了12.4%和12.8%,能显著降低模型在目标域上的错误率,具有更好的跨域泛化能力.展开更多
当用户的脸部图片或视频被窃取,试图通过生物识别系统认证时,会出现欺诈攻击.为了保障用户信息安全,针对视频和图片攻击,文中提出一种基于分块彩色MB_LBP(multi-block local binary pattern)纹理的人脸反欺诈算法,将Lab彩色空间中提取的...当用户的脸部图片或视频被窃取,试图通过生物识别系统认证时,会出现欺诈攻击.为了保障用户信息安全,针对视频和图片攻击,文中提出一种基于分块彩色MB_LBP(multi-block local binary pattern)纹理的人脸反欺诈算法,将Lab彩色空间中提取的MB_LBP特征分为多个小块,然后将每个小块中的直方图特征级联起来形成表示脸部图片的特征向量.在CASIA和NUAA数据库上的实验结果表明,文中算法与现有的人脸反欺诈算法相比具有一定优越性,甚至在NUAA数据库中其真负率达到了100%.展开更多
针对在仅具有三原色(red-green-blue,RGB)摄像头的通用消费设备上部署基于深度学习的人脸反欺诈(face anti-spoofing,FAS)算法时存在的挑战问题,提出一种高效且轻量的RGB单帧FAS(efficient and lightweight RGB frame-level face anti-s...针对在仅具有三原色(red-green-blue,RGB)摄像头的通用消费设备上部署基于深度学习的人脸反欺诈(face anti-spoofing,FAS)算法时存在的挑战问题,提出一种高效且轻量的RGB单帧FAS(efficient and lightweight RGB frame-level face anti-spoofing,EL-FAS)模型。探索一种新的全局空间自注意力机制捕获全局上下文信息的依赖关系,以提高模型泛化能力并在受限条件下实现高检测性能;设计一种等通道像素级二元监督方法,强制模型从不同的像素中学习共享特征;采用Bottleneck模块搭建骨干网络以减少模型参数。试验结果表明,EL-FAS模型在OULU-NPU数据集的大多数协议上平均分类错误率R_(ACE)最低,取得较好的人脸欺诈检测效果,在SiW数据集和跨数据集测试中也取得较好的性能,并且模型轻量,参数只有1.34×10^(6)个。展开更多
目的光流估计是计算机视觉研究中的一个重要方向,尽管光流估计方法不断改进,但光照变化条件下光流计算精度的提高仍然是一个尚待解决的挑战。人脸反欺诈方法对于确保人脸识别系统的安全性十分重要,光照鲁棒的脸部运动光流特征能为人脸...目的光流估计是计算机视觉研究中的一个重要方向,尽管光流估计方法不断改进,但光照变化条件下光流计算精度的提高仍然是一个尚待解决的挑战。人脸反欺诈方法对于确保人脸识别系统的安全性十分重要,光照鲁棒的脸部运动光流特征能为人脸活体检测提供有关运动和结构的可靠信息。为了获得对含光照变化视频中物体运动的理解能力并应用于人脸活体检测,提高系统性能,提出了一种基于结构纹理感知视网膜模型的鲁棒光流估计方法。方法基于Retinex理论,通过结构纹理感知方式将图像中的反射分量与光照分量充分解耦。由于反射分量具有丰富的纹理信息且光照分量中包含部分有用的结构信息,因此对所提取的光照分量进行滤波操作后再与反射分量一起融合到光流模型中,有效提高了光流估计的鲁棒性。为使模型所获光流具有更好的边缘保持性,采用光滑—稀疏正则化约束方式进行最小化求解。本文给出了求解优化问题的数值方法。结果采用MPI Sintel数据集图像序列,与PWC-Net、DCFlow+KF和FDFlowNet(fast deep flownet)等主流算法进行对比实验,本文方法在Clean和Final数据集中均得到最低的平均终点误差(end-point error,EPE),分别为2.473和4.807,在3个公开数据集上进行的评测进一步验证了本文方法的鲁棒性。最后,将所提取的脸部运动光流特征在人脸反欺诈数据集上进行了活体检测对比实验,对比实验结果验证了提出的光流估计算法更具鲁棒性,改善了人脸活体检测的效果。结论提出的光流计算模型,在不同光照变化条件下具有良好的鲁棒性,更适合于人脸活体检测应用。本项目代码链接为https://github.com/Xiaoxin-Liao/STARFlow。展开更多
文摘人脸反欺诈(Face anti-spoofing,FAS)在防止人脸识别系统遭受欺诈攻击方面起着至关重要的作用,得益于深度学习网络强大的特征提取能力,基于深度学习的FAS算法取得比基于传统手工特征算法更好的性能,成为近期的研究热点。尽管大多数基于深度学习的FAS算法能在库内达到很好的检测效果,但是跨库检测性能欠佳,主要原因是库内和库外数据往往在不同条件下采集,例如拍摄设备、环境光照和攻击呈现设备不同,导致库内和库外数据的分布不同,两者之间存在域位移。当训练数据的多样性不足时,容易在库内学习过程中过拟合,跨库泛化性能不好。尽管我们可以判断起因,然而在真实世界的应用过程中解决上述问题并不容易。一方面,人脸反欺诈模型难以收集所有场景下的有标签训练样本;另一方面,不同应用场景使得同一因素产生不同的影响,例如,不同场景的光照导致域位移,影响了分类模型对本质性欺诈纹理的提取。为此,本文将元伪标签引入人脸反欺诈任务,提出一种基于元伪标签的人脸反欺诈方法。主要贡献包括:第一,提出一种基于图像块的“教师生成伪标签,学生反馈”半监督学习框架,挖掘局部图像的高区分度特征,解决有标签样本不足的问题;第二,基于局部重力模式(Pattern of local gravitational force,PLGF),设计一种带有注意力模块的光照不变特征分支,抑制应用场景中最容易影响特征提取的光照因素;第三,将元学习与半监督学习框架相结合,优化教师生成伪标签的过程,提高算法的跨库检测能力。与现有流行算法相比,在三个公开的测试数据集(包括CASIA、Replay-Attack和MSU)上,所提出方法在库内测试和跨库测试下均有突出的表现,尤其是泛化性能得到显著提高。在样本数量中等时,在不同库中的半总错误率保持最低。
文摘现有的人脸反欺诈(face anti-spoofing,FAS)方法虽然在域内测试表现良好,但在跨域场景下性能会大幅度下降.当前基于域对抗对齐的跨域人脸反欺诈方法,因其对齐网络和分类网络彼此独立,无法保证对齐任务直接服务于分类任务.提出了一种基于二次解耦与活体特征课程学习渐进式对抗对齐的域自适应人脸反欺诈(domain adaptation for face anti-spoofing based on dual disentanglement and liveness feature curriculum learning progressive adversarial alignment,DDCL)方法,首先将源域特征启发式解耦为域相关特征和域无关特征,之后使用分类器的梯度信息将域无关特征中的活体相关和无关特征进行第2次解耦.在训练过程中为减轻优化难度,通过课程学习的方式对目标域特征与活体相关、无关特征的组合进行渐进式对抗对齐,逐步提高活体相关特征的比重,增强目标域特征与活体检测任务的相关性,从因果角度给出活体对齐域自适应的解释.在CASIA-MFSD,Idiap Replay-Attack,MSU-MFSD与OULU-NPU公开数据集上的实验结果表明,与现有10种方法相比,所提出的方法获得了22.5%的最佳平均HTER值,并在4个测评协议上均达到了当前先进水平,尤其是I-M和O-M测评协议的HTER值分别达到了12.4%和12.8%,能显著降低模型在目标域上的错误率,具有更好的跨域泛化能力.
文摘当用户的脸部图片或视频被窃取,试图通过生物识别系统认证时,会出现欺诈攻击.为了保障用户信息安全,针对视频和图片攻击,文中提出一种基于分块彩色MB_LBP(multi-block local binary pattern)纹理的人脸反欺诈算法,将Lab彩色空间中提取的MB_LBP特征分为多个小块,然后将每个小块中的直方图特征级联起来形成表示脸部图片的特征向量.在CASIA和NUAA数据库上的实验结果表明,文中算法与现有的人脸反欺诈算法相比具有一定优越性,甚至在NUAA数据库中其真负率达到了100%.
文摘针对在仅具有三原色(red-green-blue,RGB)摄像头的通用消费设备上部署基于深度学习的人脸反欺诈(face anti-spoofing,FAS)算法时存在的挑战问题,提出一种高效且轻量的RGB单帧FAS(efficient and lightweight RGB frame-level face anti-spoofing,EL-FAS)模型。探索一种新的全局空间自注意力机制捕获全局上下文信息的依赖关系,以提高模型泛化能力并在受限条件下实现高检测性能;设计一种等通道像素级二元监督方法,强制模型从不同的像素中学习共享特征;采用Bottleneck模块搭建骨干网络以减少模型参数。试验结果表明,EL-FAS模型在OULU-NPU数据集的大多数协议上平均分类错误率R_(ACE)最低,取得较好的人脸欺诈检测效果,在SiW数据集和跨数据集测试中也取得较好的性能,并且模型轻量,参数只有1.34×10^(6)个。
文摘目的光流估计是计算机视觉研究中的一个重要方向,尽管光流估计方法不断改进,但光照变化条件下光流计算精度的提高仍然是一个尚待解决的挑战。人脸反欺诈方法对于确保人脸识别系统的安全性十分重要,光照鲁棒的脸部运动光流特征能为人脸活体检测提供有关运动和结构的可靠信息。为了获得对含光照变化视频中物体运动的理解能力并应用于人脸活体检测,提高系统性能,提出了一种基于结构纹理感知视网膜模型的鲁棒光流估计方法。方法基于Retinex理论,通过结构纹理感知方式将图像中的反射分量与光照分量充分解耦。由于反射分量具有丰富的纹理信息且光照分量中包含部分有用的结构信息,因此对所提取的光照分量进行滤波操作后再与反射分量一起融合到光流模型中,有效提高了光流估计的鲁棒性。为使模型所获光流具有更好的边缘保持性,采用光滑—稀疏正则化约束方式进行最小化求解。本文给出了求解优化问题的数值方法。结果采用MPI Sintel数据集图像序列,与PWC-Net、DCFlow+KF和FDFlowNet(fast deep flownet)等主流算法进行对比实验,本文方法在Clean和Final数据集中均得到最低的平均终点误差(end-point error,EPE),分别为2.473和4.807,在3个公开数据集上进行的评测进一步验证了本文方法的鲁棒性。最后,将所提取的脸部运动光流特征在人脸反欺诈数据集上进行了活体检测对比实验,对比实验结果验证了提出的光流估计算法更具鲁棒性,改善了人脸活体检测的效果。结论提出的光流计算模型,在不同光照变化条件下具有良好的鲁棒性,更适合于人脸活体检测应用。本项目代码链接为https://github.com/Xiaoxin-Liao/STARFlow。
