基于时序多尺度互补特征的视频行人重识别

视频行人重识别在监控场景中起着非常重要的作用.但是,大多数现有方法没有充分利用行人视频序列的时空信息.具体来说,这些方法以相同的分辨率和网络结构处理每一帧图像,造成连续帧特征的高度相似.此外,现有方法通常通过引入各种复杂的操作提高精度,过多的计算开销使其不利于真实场景的部署.针对上述问题,本文提出了一个时序多尺度互补网络,旨在高效地为视频的连续帧提取互补的特征.具体来说,时序多尺度互补网络包含多个具有不同输入分辨率的分支.其中,高分辨率分支处理原始分辨率帧,用于保留行人的细节线索;低分辨率分支处理以不同降采样率得到的低分辨率帧,用于捕捉更全局的行人信息.通过将连续帧输入到不同分支中,连续帧能关注不同粒度的空间区域,生成互补的特征.进一步,设计了一个多分支批量归一化层,保证了训练时分支之间的互补性.最后,提出一个跨分支融合模块,将低分辨率分支的全局信息逐步传播到高分辨分支中,得到一个融合了多尺度全局粗粒度和局部细粒度互补信息的特征.在iLIDS-VID,MARS和LS-VID三个数据集上的实验显示,本文提出的方法达到了比目前最好方法更好的性能,例如,在LS-VID上提升了4.5%mAP和3.1%top-1精度,证明了该方法的有效性.此外,通过降低输入帧的分辨率和使用更小的网络处理低分辨率帧,本文方法大幅度降低了计算开销,仅需要大多数现有方法约35%的计算开销.

基于纹理分布和变形模板的面部特征提取

面部特征提取是面部感知的重要内容 ,同时也是特定人的 3D人脸动画应用中所必须的前期工作 .在一个多级人脸检测模块检测到人脸大致区域和尺寸的基础上 ,提出并实现了一种基于面部图像纹理分布特性和可变形模板的由粗到细的面部特征提取策略 ,旨在解决可变形模板对参数初值依赖性强和计算时间长的问题 .该策略首先利用眼睛区域的谷特性和频率特性定位两个虹膜中心点位置 ,然后用积分投影确定唇部和鼻子区域的位置 ,在此基础上进行关键特征点的检测 ,从而可以得到预定义特征模板参数的良好初值 ,最后基于贪心算法的多阶段轮换优化算法来搜索一个极小点 .实验表明 ,该方案在时间和精度方面具有良好的性能 .

人脸识别中的“误配准灾难”问题研究

现有的多数人脸识别系统都要依赖于面部特征(比如眼睛中心位置)的严格配准来归一化人脸以便提取人脸描述特征,但面部特征配准的准确度如何影响人脸识别算法的性能却没有得到足够的重视.该文作者首次针对这一问题进行了系统的研究,并提出了一种基于误配准学习的解决方案.为了揭示现有典型识别算法的识别性能对特征配准准确度的敏感程度,通过对眼睛位置人为加扰,作者对Fisherface算法的识别性能随平移、旋转和尺度改变而变化的情况进行了实验评估.结果表明Fisherface的识别性能随着误配准的增大而急剧下降——称这一现象为“误配准灾难”问题.针对此问题,作者提出了一种基于扰动学习的“误配准灾难”解决方案,该方法通过在模型训练阶段加入扰动配准偏差来提高判别分析方法对误配准的鲁棒性.在FERET人脸图像数据库和CAS PEAL R1人脸库上的实验表明该方法可以有效地提高识别算法对误配准的鲁棒性.

基于全局和局部特征集成的人脸识别

提出利用一种串、并行结合的方式将全局和局部面部特征进行集成:首先利用全局特征进行粗略的匹配,然后再将全局和局部特征集成起来进行精细的确认.在该方法中,全局和局部特征分别采用傅里叶变换和Gabor小波变换进行提取.两个大规模的人脸库(FERET and FRGCv2.0)上的实验结果表明,此方法不仅可以显著提高系统的精度,而且可以提升系统的速度.

基于3D人脸重建的光照、姿态不变人脸识别

待匹配人脸图像与库存原型图像之间姿态和光照的差异是自动人脸识别的两个主要瓶颈问题,已有的解决方法往往只能单独处理二者之一,而不能同时处理光照和姿态问题.提出了一种对人脸图像中的姿态和光照变化同时进行校正处理的方法,即通过光照不变的3D人脸重建过程,将姿态和光照都校正到预先定义的标准条件下.首先,利用先验的统计变形模型,结合人脸图像上的一些关键点来恢复较为精细的人脸3D形状.基于此重建的3D形状,进而通过球面谐波商图像的方法估计输入图像的光照属性并提取输入图像的光照无关的纹理信息,从而将光照无关的3D人脸完全重构出来,生成输入人脸图像在标准姿态和光照条件下的虚拟视图,用于最终的分类识别,实现了对光照和姿态问题的同时处理.在CMUPIE数据库上的实验结果表明,此方法可以在很大程度上提高现有人脸识别方法对于原型集合(gallery)和测试集合中图像在姿态和光照不一致情况下识别结果的正确性.

基于局部Gabor变化直方图序列的人脸描述与识别

提出了一种在Gabor变换幅值域内提取局部变化模式空间直方图序列(histogramsequenceoflocalGaborbinarypatterns,简称HSLGBP)的人脸描述及其识别方法.鉴于Gabor特征对光照、表情等变化比较鲁棒,并已在人脸识别领域得到成功应用,首先对归一化的人脸图像进行多方向、多分辨率Gabor小波滤波,并提取其对应不同方向、不同尺度的多个Gabor幅值域图谱(Gabormagnitudemap,简称GMM),然后在每个GMM上采用局部二值模式(localbinarypattern,简称LBP)算子抽取局部邻域关系模式,最后由这些模式的区域直方图形成的序列来描述人脸.Gabor变换、LBP、空间区域直方图的采用使得该方法对光照变化、表情变化、误配准等具有良好的鲁棒性.而且,这种人脸建模方法不需要基于训练集合进行统计学习,因而不存在推广性问题.同时,进一步探讨了如何在分类器设计阶段与统计方法进行结合的问题,提出了统计Fisher加权的HSLGBP匹配方法.在通过FERET人脸库光照、表情和时间变化测试集上与已发表的实验结果进行对比,充分验证了该方法的有效性.

基于局部特征分析的人脸识别方法

在传统的弹性图匹配基础上 ,提出一种基于局部特征分析的人脸识别算法 .该方法利用人脸的先验结构和人脸图像的灰度分布知识 ,首先粗略地找出人脸图像的特征点 ,然后利用人脸弹性图对特征点的位置进行调整 ,最后在各个特征点处计算Gabor变化的系数 ,人脸相应被表示为特征点处的Gabor系数集合 .对提取的特征向量用几种不同的度量距离来进行分类 ,并给出测试结果 .实验表明 ,该方法优于传统的Eigenface方法 ,特别适用于训练图像样本较少的情况 .相对于传统的弹性图匹配方法 ,该方法由于人脸特征点预先被估算出 ,而不是在整个图像上搜索 。

基于球面谐波基图像的任意光照下的人脸识别

提出了一种基于球面谐波基图像的光照补偿算法,用以在任意光照条件下进行人脸识别.算法分两步进行:光照估计和光照补偿.基于人脸形状大致相同和每个人脸的反射率基本相等的假设,首先估计了输入人脸图像光照的9个低频谐波系数.根据光照估计的结果,提出了两种光照补偿方法:纹理图像和差图像.纹理图像为输入图像与其光照辐照图之商,与输入图像的光照条件无关.差图像为输入图像与平均人脸在相同光照下的图像之差,通过减去平均人脸在相同光照下的图像,减弱了光照的影响.在CMUPIE人脸库和YaleB人脸库上的实验表明,通过光照补偿,不同光照下人脸图像识别率有了很大提高.

CAS-PEAL大规模中国人脸图像数据库及其基本评测介绍

人脸图像数据库是人脸识别算法研究、开发、评测的基础 ,具有重要的意义 介绍了自行创建并已经部分共享的CAS PEAL大规模中国人脸图像数据库及其基准测试结果 CAS PEAL人脸图像数据库中包含了 10 4 0名中国人共 994 5 0幅头肩部图像 所有图像在专门的采集环境中采集 ,涵盖了姿态、表情、饰物和光照 4种主要变化条件 ,部分人脸图像具有背景、距离和时间跨度的变化 目前该人脸图像数据库的标准训练、测试子库已经公开发布 与其他已经公开发布的人脸图像数据库相比 ,CAS PEAL人脸图像数据库在人数、图像变化条件等方面具有综合优势 ,将对人脸识别算法的研究、评测产生积极的影响 同时 ,作为以东方人为主的人脸图像数据库 ,CAS PEAL人脸图像数据库也使人脸识别算法在不同人种之间的比较成为可能 ,利于人脸识别算法在国内的实用化 还给出了两种基准人脸识别算法 (Eigenface和Correlation)和两个著名商业系统在该人脸图像数据库上的测试结果 。

基于样例学习的面部特征自动标定算法

面部特征标定是人脸识别中的一个关键问题.提出了一种基于样例学习的面部特征自动标定(人脸形状自动提取)方法.该方法是基于下面假设提出来的:人脸图像差和形状差之间存在一种近似的线性关系——相似的人脸图像在较大程度上蕴涵着相似的形状.因此,给定标注了特征点的人脸图像学习集,则任意新的输入人脸图像的面部形状可以采用如下方法估计:测量该人脸图像和训练集中图像的相似度,并将同样的相似度用于该人脸图像形状的重建.即:如果输入人脸图像可以表示为训练图像的优化的线性组合,那么同样的线性组合系数就可以直接用于训练集对应形状的线性组合从而得到输入人脸图像的形状.实验表明,该算法相对于其他传统的特征标定算法具有可比的精度和较快的速度.并且,还将此算法扩展到了多姿态情况下,实现了多姿态人脸图像形状的自动提取.

基于支持向量机的人脸检测训练集增强

根据支持向量机(support vector machine,简称SVM)理论,对基于边界的分类算法(geometric approach)而言,类别边界附近的样本通常比其他样本包含有更多的分类信息.基于这一基本思路,以人脸检测问题为例,探讨了对给定训练样本集进行边界增强的问题,并为此而提出了一种基于支持向量机和改进的非线性精简集算法IRS(improved reduced set)的训练集边界样本增强算法,用以扩大训练集并改善其样本分布.其中,所谓IRS算法是指在精简集(reduced set)算法的核函数中嵌入一种新的距离度量——图像欧式距离——来改善其迭代近似性能,IRS可以有效地生成新的、位于类别边界附近的虚拟样本以增强给定训练集.为了验证算法的有效性,采用增强的样本集训练基于AdaBoost的人脸检测器,并在MIT+CMU正面人脸测试库上进行了测试.实验结果表明,通过这种方法能够有效地提高最终分类器的人脸检测性能.

基于支持向量的Kernel判别分析

提出了一种新的基于支持向量的核化判别分析方法(SV-KFD).首先深入地分析了支持向量机(SVM)以及核化费舍尔判别分析(KernelFisher)方法的相互关系.基于作者证明的SVM本身所固有的零空间性质:SVM分类面的法向量在基于支持向量的类内散度矩阵条件下,具有零空间特性,提出了利用SVM的法向量定义核化的决策边界特征矩阵(KernelizedDecisionBoundaryFeatureMatrix,KDBFM)的方法.进一步结合均值向量的差向量构建扩展决策边界特征矩阵(Ex-KDBFM).最后以支持向量为训练集合,结合零空间方法来计算投影空间,该投影空间被用来从原始图像中提取判别特征.以人脸识别为例,作者在FERET和CAS-PEAL-R1大规模人脸图像数据库上对所提出的方法进行了实验验证,测试结果表明该方法具有比传统核判别分析方法更好的识别性能.

若干自动人脸识别技术评测与分析

介绍了四种著名的人脸识别方法及其两个著名的商业人脸识别系统在CAS-PEAL大规模人脸图像数据上的评测情况,借此分析了人脸识别研究和开发的现状。

一种基于图像表观的鲁棒姿态估计方法

提出一种利用图像的表观特征进行头部姿态估计的方法.该方法首先使用了一维Gabor滤波器对头部图像进行特征提取,然后对提取得到的一维Gabor特征进一步使用了基于核函数的局部费舍尔判别分析方法增强特征的判别能力.与传统二维Gabor特征相比,一维Gabor特征除了在计算速度和存储空间上具有明显的优势以外,更与姿态紧密相关.而基于核函数的局部费舍尔判别分析方法,能够解决姿态问题中存在的非线性问题和多模态问题.大量的实验结果表明,该算法对于姿态估计问题是有效的.特别需要指出的是,该算法具有良好的推广能力,在训练数据和测试数据异质时,该算法的性能明显高于其他对比算法的性能.

一种利用人脸对称性的光照归一化方法

光照归一化在光照鲁棒的人脸识别中被广泛使用.许多现有光照归一化方法将人脸图像视为自然图像,而忽略了人脸这一类特定物体的先验属性,因此很难从一幅具有侧光的人脸图像中恢复阴影区域中的人脸信息.提出了利用人脸对称性先验的光照归一化方法,在能量最小化框架下,对人脸图像的阴影区域进行光照归一化时参考其对称非阴影区域中的人脸结构信息,同时提出了无阴影信度图将二元最优化问题简化为一元最优化问题,以降低光照归一化方法的计算代价.在合成阴影和真实阴影人脸图像上的实验表明,利用人脸对称性的光照归一化方法能有效恢复图像阴影区域中的人脸特征,并对人脸误配准和非对称几何归一化具有一定的鲁棒性.

使用ASM与AAM方法进行器官定位

器官定位是人脸识别中的一个重要环节 ,它的精确性影响到人脸的正确识别率。本文主要研究主动形状模型 (ASM)和主动外观模型 (AAM )的原理、方法 ,并以具体例子说明其在器官定位中的应用 。

视觉智能进展与应用

所谓计算机视觉,是希望利用科学技术实现能够类像人的视觉一般敏锐的、让机器能够像人一样去'看'、去理解这个世界的视觉效果。计算机视觉包括'看'人、'看'环境等内容,主要目的是帮助人做出更好的决策。在很多时候,我们希望AI能够去帮助人类做一些人类不希望做、做起来比较困难的事,比如农作物的病虫害的自动识别监测任务。

结构化稀疏线性判别分析

在监督场景下线性判别分析(linear discriminant analysis,LDA)是一种非常有效的特征提取方法.然而,LDA在小样本情况下通常会出现过拟合现象,并且学习的投影变换难以给出人类认知上的解释.针对这些问题,特别是可解释性结构的发现,借助于LDA的线性回归模型和结构化稀疏L2,1范数,提出了结构化稀疏线性判别分析(structured sparse LDA,SSLDA)方法.进一步,为了去除线性变换间的相关性,提出了正交化的SSLDA(orthogonalized SSLDA,OSSLDA),它能更加有效地学习到细致的结构信息.为了求解这2个模型,引入了一个半二次的优化算法,它在投影变换和新引入的辅助变量之间采用交替优化的思想.为了验证所提出的方法,在AR、扩展的YaleB和MultiPIE 3个人脸数据库上对比了LDA及其变种方法,实验表明了所提出方法的有效性以及可解释性.

Gabor特征判别分析人脸识别方法的误配准鲁棒性分析

人脸识别领域中,Gabor特征人脸表示方法因其在应用中获得的高首选识别率而被认为是一种理想的人脸特征表示方法。文章用一种全新的量化评价方法,结合配准精度和识别率,从误配准鲁棒性角度评价Gabor特征在人脸识别中的优越性。实验表明,和图像灰度信息特征相比,Gabor特征不仅在精确配准时具有高识别率,而且对由于人脸特征定位不精确而导致的图像变化的鲁棒性也更强。

一种由粗到细的头发分割方法

从图像中提取出头发区域,能够为头发分析、发型趋势预测等任务提供有利的线索.但是,头发的类内模式非常复杂,并且它与其他物体类间也常因光照复杂、表观特征相似等因素而难以分离.因此,头发分割是一个非常具有挑战性的问题.为了一定程度地解决这些问题,提出了一种由粗到细的头发分割方法.首先,该方法利用最新提出的利用视点进行主动分割(active segmentation with fixation,简称ASF)的方法,粗略提取头发分割的候选范围,保证头发区域的高召回率(准确率也许较低),并由此排除大部分与头发区域难以分离的背景区域;然后,利用特定于当前图像的头发类别信息,使用图割(graph cuts,简称GC)法在限定的范围内进行更加精细的分割.具体地,采用均值漂移(mean shift,简称MS)方法对输入图像进行区域的过分割;然后,利用贝叶斯方法选择一些可靠的、有较大概率属于头发或背景的"种子区域",针对头发和背景的种子区域,采用支持向量机(support vector machine,简称SVM)在线学习头发和背景的分类器,并将其用于预测每个像素或区域属于头发或背景的概率;最后,将得到的概率用以Graph Cuts的初始化,求解得到最终的头发分割结果.实验结果表明,所提出的头发分割方法能够超越当前提出的头发分割方法.为了验证方法的可推广性,对其进行了一定扩展,并在马、汽车、飞机这3个类别的公开数据库上作了评测,取得了较好的性能.