基于级联回归网络的多尺度旋转人脸检测方法

针对在较大的人脸平面旋转(RIP)角度下,人脸外观差异导致多尺度旋转人脸检测困难的问题,提出了一种基于级联回归网络的多尺度旋转人脸检测方法,该方法采用三级级联回归策略逐步完成每个候选人脸RIP角度的估计和人脸候选窗位置的更新。第1阶段采用SSD网络对人脸候选窗位置进行直接预测,消除大部分低置信度的人脸候选窗;第2阶段采用人脸分类网络对人脸候选窗位置进行粗略回归,同时快速对齐人脸的RIP主方向区间;第3阶段采用人脸回归网络对人脸候选窗位置进行精确回归,同时连续估计人脸RIP的角度。在旋转FDDB数据集和旋转WIDER FACE数据集上的实验结果表明,该算法对多尺度旋转人脸的检测精度高于当前主流的旋转人脸检测算法。

多视角约束级联回归的视频人脸特征点跟踪

近年来,静态图像中人脸特征点检测算法得到了极大的改进,然而,由于真实视频中头部姿态、遮挡和光照等因素的变化,人脸特征点检测和跟踪仍然具有挑战性。为了解决这一问题,提出一种多视角约束级联回归的视频人脸特征点跟踪算法。首先,利用三维和二维稀疏点集建立变换关系,并估计初始形状;其次,由于人脸图像存在较大的姿态差异,使用仿射变换对人脸图像进行姿态矫正;在构造形状回归模型时,采用多视角约束级联回归模型减小形状方差,从而使学习到的回归模型对形状方差具有更强的鲁棒性;最后,采用重新初始化机制,并在特征点正确定位时使用归一化互相关(NCC)模板匹配跟踪算法建立连续帧之间的形状关系。在公共数据集上的实验结果表明:该算法的平均误差小于眼间距离的10%。

基于稀疏级联回归的快速人脸配准方法及其在移动设备上的应用

如何在计算和存储能力受限的移动平台上实现高效的人脸配准是移动平台人脸应用需要解决的关键问题。主要研究了移动平台上的快速人脸配准问题,为了降低配准模型的计算与存储要求,提出了稀疏约束的级联回归模型。该模型采用稀疏性约束学习回归矩阵,不但能够筛选鲁棒的特征,而且模型的存储空间被压缩到原来的5%左右。基于稀疏级联回归模型,进一步构建了移动平台上人脸配准的快速算法。首先,在人脸检测的基础上,利用二值特征快速定位眼角、嘴角和鼻尖的关键点,估计出人脸的姿态,旋正人脸图像;然后,根据人脸的姿态,选择相应的正脸或侧脸模型,进行稀疏约束的级联回归配准,定位人脸关键点。大量实验结果表明,提出的配准方法精度高、速度快、模型小。在三星Note3智能手机上,每幅人脸图像的配准时间在10ms左右,整个apk文件大小仅为4MB,非常适合移动平台的人脸应用。

改进级联回归模型的人脸特征点定位

针对级联回归模型依赖形状初始化且结构复杂使其在人脸特征点定位中速度慢、精度低的问题,提出了改进的级联回归人脸特征点定位算法。采用仿射变换参数回归初始化人脸形状,使变换后的初始形状更接近真实人脸以提高模型的收敛速度和精度;在各特征点局部区域构造随机蕨局部学习器,并学习得到易于计算且高度稀疏的二值化特征应用提高模型的速度;对二值化特征使用全局线性回归求得形状增量,实现特征点定位。仿真实验结果表明:相比于原算法,所提算法在LFPW,HELEN,AFW库上定位误差平均降低了11%,定位时间平均减少了14%。

多视角级联回归模型人脸特征点定位

针对人脸姿态偏转较大导致人脸特征点定位精度低的问题,提出了多视角人脸特征点定位算法,采用随机森林局部学习与全局线性回归相结合的级联姿态回归(Cascaded Pose Regression,CPR)人脸特征点定位模型,在不同的人脸姿态视角下建立不同的模型,以多模型代替单一模型来提高人脸特征点定位的精度。首先采用CPR模型对不同视角下的人脸建立不同的模型;然后采用多视角生成模型(Multi-View Generative Model,MVGM)来评估输入人脸图片的姿态;最后根据评估的姿态选择相对应的模型,进而实现特征点的精确定位。仿真实验结果表明,相比于现有的几种人脸特征点定位算法,所提算法实现了更精确的定位效果。

级联回归的多姿态人脸配准

目的人脸配准是当前计算机视觉领域的研究热点之一,其目的是准确定位出人脸图像中具有语义特征的面部关键点,这也是人脸识别、人脸美化等众多与人脸有关的视觉任务的重要步骤。最近,基于级联回归的人脸配准算法在配准精度和速度上都达到了最先进的水准。级联回归是一种迭代更新的算法,初始脸形将通过多个线性组合的弱回归器逐渐逼近真实的人脸形状。但目前的算法大多致力于改进学习方法或提取具有几何不变性的特征来提升弱回归器的能力,而忽略了初始脸形的质量,这极大的降低了它们在复杂场景下的配准精度,如夸张的面部表情和极端的头部姿态等。因此,在现有的级联回归框架上,提出自动估计初始形状的多姿态人脸配准算法。方法本文算法首先在脸部区域提取基于高斯滤波一阶导数的梯度差值特征,并使用随机回归森林预测人脸形状;然后针对不同的形状使用独立的级联回归器。结果验证初始形状估计算法的有效性,结果显示,本文的初始化算法能给现有的级联回归算法带来精度上的提升,同时结果也更加稳定;本文算法产生的初始形状都与实际脸型较为相近,只需很少的初始形状即可取得较高的精度;在COFW、HELEN和300W人脸数据库上,将本文提出的多姿态级联回归算法和现有配准算法进行对比实验,本文算法的配准误差相较现有算法分别下降了29.2%、13.3%和9.2%,结果表明,本文算法能有效消除不同脸型之间的干扰,在多姿态场景下得到更加精确的配准结果,并能达到实时的检测速度。结论基于级联回归模型的多姿态人脸配准算法可以取得优于现有算法的结果,在应对复杂的脸形时也更加鲁棒。所提出的初始形状估计算法可以自动产生高质量的初始形状,用于提升现有的级联回归算法。

基于级联线性回归的快速单幅图像超分辨率技术

基于学习的图像超分辨率技术,通过学习获得高、低分辨率图像之间的映射关系,将其作为先验约束条件来估计高分辨率图像。这种技术的一个重要问题是如何建立高分辨率和低分辨率图像之间的映射关系,大多数现有的复杂模型既难以推广到所有自然图像,还需要耗费大量时间进行模型训练,而简单模型的表示能力却很有限。本文提出了一种简单、有效、鲁棒、快速的图像超分辨率技术。这种超分辨技术基于一系列线性最小二乘函数,即级联线性回归模型,这种模型函数具有闭合形式的解,仅需要很少的控制参数,因此在计算上能够有效实现。为了减小估计模型和实际模型之间的差距,本文通过k-means算法将图像块进行聚类,并在每次迭代中学习每个聚类的线性回归参数,在级联线性回归学习过程中逐渐逼近真实的超分辨率图像。实验结果表明,本文所提出的技术与现有技术方法相比,具有更好的超分辨性能、更低的时间消耗。

一种基于改进结构的级联手势回归算法

基于手势特征和回归算法,通过改进传统的3D手势级联回归算法学习效率低的缺陷,提出一种新的基于手势变化特征的手部结构特征算子,有效减少了手部特征算子的维度,并对传统级联回归器进行了适应于手势变化的结构改进,使其针对手部结构的识别效率显著提高.在公开数据库及自建数据库分别进行实验,实验结果表明,该算法在保持手势识别准确度的同时,能有效提高执行效率.

基于级联形状回归的多视角人脸特征点定位

针对当前人脸特征点定位精度低、且当人脸图像存在较大姿态变化时不能在同一模型框架下实现任意姿态人脸图像的面部特征点精确定位问题,提出基于级联形状回归的对姿态、遮挡都鲁棒的人脸特征点定位方法.为了提高定位的准确度,提出按姿态偏转造成的遮挡程度对人脸区域进行分块,针对每一块分别训练形状估计回归器;为了能够在同一框架下实现任意姿态人脸的特征点定位,在特征点形状定义中引入特征点的可见/不可见属性;为了提高该算法的性能,在特征的计算方法和计算策略上分别进行改进.在Multi-PIE、AFLW、COFW和300-W数据库上的实验结果表明,提出算法不但对姿态、遮挡具有很强的鲁棒性,而且在其他不可控因素影响下取得很好的效果.

基于级联线性回归的单帧图像超分辨重建算法研究

在实际生活中,由于硬件设备、拍摄技术以及距离等各方面因素的影响,人们经常无法获得高分辨率的图像,因此,利用算法和软件提高图像分辨率,从而获得清晰度较高的图像的工作就变得越发重要。基于学习的单帧图像的超分辨技术,就是建立低分辨率图像集和高分辨率图像集之间的关系,即通过学习低分辨率图像和高分辨率图像之间的映射关系进而获得先验知识,以此为约束条件重建得出高分辨率图像。在此方法中,高、低分辨率之间的映射关系十分重要且较难获得。本论文应用了一种简单有效的方法即通过建立级联线性回归模型对高、低分辨率图像之间的映射关系进行学习。级联线性回归模型需要的参数少,并且该函数可以求出闭合解,因此在求解时可以简便地获得更有效的结果。为使结果更加准确,论文中的算法通过对低分辨率图像进行下采样再经过双立方插值等一系列操作得到不同层数的级联性回归的高分辨率图像,通过实验对比不同级联层数的峰值信噪比PSNR(Peak Signal to Noise Ratio),选择PSNR较高的级联层数,之后对各级高分辨图像进行迭代得到最终的高分辨率图像,并将通过算法得到的高分辨率图像与原图像的高分辨率图像进行对比。实验结果表明,采用3×3的图像块,进行二次级联时,此算法能够得到较好的高分辨率图像并且算法难度较小、运行效率较高。

基于随机森林回归的人脸特征点定位

针对人脸特征点定位容易受到人脸姿态、表情、光照和遮挡等因素影响的问题,提出了一种基于随机森林回归的特征点定位方法。采用像素差值特征在每个特征点建立随机森林模型,由森林模型回归得到训练样本的估计形状;对训练样本的估计形状与真实形状进行线性最小二乘拟合,得到一个全局优化模型;再利用模型对测试样本特征点位置进行回归估计及形状优化,从而实现了人脸特征点的自动定位。该方法采用相对误差小于0.1的衡量标准,在MATLAB R2009a平台实验,Helen和LFPW数据库上测试,两个数据库的样本定位正确率均超过95%,平均定位速度为9.3 fps,且训练模型仅为5.4 MB。实验结果表明:提出的方法能够很好地适应人脸姿态、表情、光照和遮挡等因素的影响,同时训练模型小,且有效地提高人脸特征点定位的精度和速度。

基于形状参数回归的人脸对齐算法

针对传统人脸对齐算法效率较低等问题,提出基于形状参数回归的人脸对齐算法.首先,采用人脸形状空间约束人脸,以低维形状参数刻画人脸形状.然后,在二级形状参数回归算法框架下,结合明确形状特征索引方法和多重随机特征选择方法,学习一系列形状参数回归量,最终刻画对齐的人脸形状.文中算法减少数据存储量,提高人脸对齐速度,在复杂人脸数据库上取得较好效果.此外,该算法能直接应用于手机、平板电脑等低端设备上.

基于相对索引特征回归的人脸对齐算法

针对传统人脸对齐算法对于较大人脸姿态鲁棒性较差,并且对于人脸检测结果十分敏感的问题,提出了一种基于改进的局部二值特征的人脸对齐算法。不同于传统的形状索引特征,在一种空间依赖假设下的前提下设计相对索引特征。同时,在这种空间依赖假设下使用半全局线性学习替代全局线性学习。通过人脸对齐敏感性分析比较了算法在不同人脸检测器下的鲁棒性,在300-W基准数据集上的实验表明:算法优于传统的级联回归算法。

基于模糊聚类回归的人脸特征点定位研究

传统基于回归的人脸特征点定位算法存在忽略人脸局部结构信息、姿态偏转较大时定位精度差等问题。为此,提出一种基于模糊聚类回归的定位算法。利用人脸特征点之间的局部结构信息对人脸训练集进行聚类,并根据阈值判决结果适度扩充训练样本。分别训练所有子训练集的回归结构,在测试过程中加入多次形状约束以自动调整每次聚类的结果和回归结构的选择,由此提高人脸特征点定位的精度。在300-W数据库上的实验结果表明,与形状回归算法和鲁棒姿势回归算法相比,该算法明显提高了姿态偏转较大情况下的定位精度。

基于移动平台的快速相似脸检索

主要研究了移动平台上的相似脸检索问题.对于移动端,首先采用基于稀疏约束的级联回归模型进行精确的人脸配准,该方法不但能够筛选鲁棒的特征,而且可以将模型的大小压缩到原来的5%左右.接着,在某些关键点周围提取高维的纹理特征,并通过稀疏投影降维.对于服务器端,采用级联形状和纹理特征的方式进行高效的相似脸检索.首先基于稀疏形状重构的方式筛选脸型相似的人脸,然后基于稀疏纹理重构的方法确定相似脸.在三星Note 3智能手机上,人脸图像的配准时间约10 ms.在扩展的LFW(Labeled Face in Wild)数据库上,相似脸检索时间约1.5 s,整个模型大小约5.4 MB.大量实验结果表明,配准方法精度高,速度快,模型小;相似脸检索的方法效率高,检索结果更符合人们的视觉感受.

基于多任务分类的吸烟行为检测

为了及时检测吸烟行为,准确做出状态判断,提出了一种基于多任务分类的吸烟行为检测算法。该算法融合多任务卷积神经网络、级联回归和残差网络,通过多任务卷积神经网络算法和基于梯度提高学习的回归树方法(RET级联回归)快速定位嘴部感兴趣区域(ROI);在此基础上,采用残差网络对ROI内目标进行检测和状态识别。实验结果表明,该算法可以准确检测到吸烟行为的发生并做出状态判断,准确率可以达到87. 5%。

基于线索引导的面部运动捕捉与数据虚拟重用方法

多数无标记面部表情运动捕捉方法仅捕捉面部表情运动的平面位置变化,而无纵深变化描述。针对这一问题,提出了基于线索引导的面部运动捕捉与数据虚拟重用方法。首先,使用单目视觉系统对人脸主体区域进行定位;然后,采用级联回归模型对人脸地标特征逐步求精,通过利用人脸特征的主动地标线索和地标特征的深度线索得到特征点在三维空间上的位置变换关系;最后,借助面部骨骼节点的数据表示实现面部表情运动重构。通过在线的实时面部表情运动捕捉实验效果可以看出,该方法不仅能够实现不同视角下对应地标特征的精确匹配,而且能够较好地将真实面部运动赋予虚拟角色。

基于局部形状组合模型的人脸对齐

近年来,在研究人脸对齐问题上提出了许多高效、精确的算法.其中,许多算法都采用平均脸作为初始化形状,然后采用不同的方法对人脸的最终形状进行预测,这些算法在人脸表情、头部姿势、光照差异较大的情况下没有很好的鲁棒性.文中提出基于平均脸使用局部形状组合模型来构建一个更准确的人脸(组合脸).局部形状组合模型首先根据人脸基准点的分布特点把人脸形状划分为脸部轮廓、眉毛、眼睛、鼻子、嘴巴这5个部分,然后利用平均脸作为初始化形状,在每个局部形状包含的特征点的邻域内提取特征构建随机森林,对所有训练图片人脸的局部形状进行分类.叶子结点用来存放对应类的局部形状,其它结点存放分类的规则,局部形状组合模型针对5个局部形状总共构建了5个随机森林.对于每一个测试图片人脸,使用平均脸作为初始化形状,遍历随机森林去选择最像测试人脸的局部形状.平均脸和由轮廓决定的人脸其它局部形状的中心以及选择的局部形状将被用来构建组合脸.在大多数情况下,组合脸比平均脸具有更强的表示能力.因此文中提出一个基于组合二值特征的决策机制来选择组合脸和平均脸中更为合适的一个作为后续阶段的初始化形状.决策机制在训练阶段估计出预测结果和组合二值特征的关系,在测试阶段利用训练阶段估计的关系对选择结果进行预测.决策机制是一个二分类问题,可以利用支持向量机来解决.最后以级联回归的方式对该初始化形状进行优化以逼近标准形状.通过采用局部形状组合模型和基于组合二值特征的决策机制,可以防止:(1)最终预测的人脸由于初始化形状不理想而陷入局部最佳;(2)增强本算法对人脸表情、头部姿势、光照差异的鲁棒性.文中算法(LSBC算法)在300-W(68-pts)和Helen(194-pts)数据库下的误差(瞳孔间距归一化误差)分别为4.73%和4.68%,优于当前的LBF、ESR、SDM算法.

基于改进的深度卷积神经网络的人脸疲劳检测

针对疲劳驾驶检测问题,提出一种以softmax损失与中心损失相结合的深度卷积神经网络算法。首先,利用含有方向的梯度直方图(histogram of oriented gridients,HOG)和级联分类器(support vector machine,SVM)算法的Dlib库中预训练的人脸检测器,来检测驾驶员的脸部区域。其次,使用级联回归(ensemble of regression trees,ERT)算法实现脸部68个关键点标定及眼睛和嘴巴的定位。最后,为了优化softmax损失在深度卷积网络分类中出现的类内间距大的问题,加入中心损失函数,提高类间差异性、类内紧密性以及驾驶员脸部疲劳状态识别准确率。在自建测试集和YawDD哈欠数据集中的实验结果显示,该方法能够准确地识别检测驾驶员疲劳表情,平均识别准确率达到98.81%。与传统的疲劳驾驶检测识别方法相比,该方法可以自动进行疲劳特征提取,并且训练准确率、检测识别率及鲁棒性得到提高;与未改进的深度卷积网络相比,检测识别的概率平均提高了约5.09%。

基于局部形状约束网络的人脸对齐

基于级联回归的人脸对齐方法已经取得了很大的成就,但是由于复杂的级联回归器设计、人为设计特征等局限性的影响使得人脸对齐没有找到一个性能更好的解决方案,尤其对于大姿态、大表情等条件下的人脸对齐任务.因此,为解决该问题,提出了一种新颖的人脸对齐方法——基于人脸局部形状约束.首先利用卷积神经网络初始化人脸整体形状;然后利用人脸局部区域的同质性,将人脸区域进行划分,对每一个区域定义局部形状约束;最后再由整体形状估计做为全局约束,组合各个面部局部形状约束,对整体面部特征点进行回归.实验结果表明,该方法提高了人脸对齐的精确度且速度上达到了实时.