视频序列中基于多尺度时空局部方向角模式直方图映射的表情识别

针对局部二元模式在概念上是无方向性的,不能充分捕捉详细信息的问题,提出局部方向角模式(LOP)方法.该方法通过比较2个近邻点上2个方向角的差值来标注图像中的像素点,对邻域内方向角差值的变化进行编码;将LOP扩展到三维空间,提出时空局部方向角模式(SLOP),将从3个正交平面上提取到的特征串接成一个向量;最后采用多尺度SLOP直方图作为人脸表征,并将其投影到保局映射空间以获取低维特征.在Cohn-Kanade与MMI人脸表情数据库上的实验结果表明,文中方法在识别准确率和识别速度方面都优于已有方法.

局部方向三值模式纹理描述子

为解决LDP算子运算速度较慢、对于有些模式无法精确区分等问题,提出局部方向三值模式纹理描述子。采用自适应阈值,对像素8个方向边缘响应进行三值编码,提取并统计正边缘模式和负边缘模式,联合起来构成局部方向三值模式,作为最终特征来描述图像。在Brodatz数据集和CUReT数据集上将该模式与传统的LBP、LDP、FLDP、LTP算法进行对比实验,对比结果表明,与LDP算法相比,该模式在上述两个数据集上的分类准确率分别提高了5.42%和8.43%,运算速度提高了8倍以上;与LBP、FLDP、FTP相比,该模式也有明显优势。

基于自适应方向局部三值模式的人脸识别

为了解决局部三值模式特征向量维数过高和不能自适应选取阈值的问题,引入方向局部二值模式的思想,提出了一种具有自适应性的方向局部三值模式(SD-LTP)。SD-LTP通过具有降低特征向量维数的方向局部三值模式来描述图像,将图像全局灰度特征引入编码中以增强算法对全局特征的描述;引入具有自适应性的阈值增强算法的抗噪能力。在ORL和FERET标准人脸库上的实验结果表明,SD-LTP有效地降低特征维数;并显著提高了人脸的识别率。

依据特征融合和深度学习的树木叶片分类方法

以Pl@ntNet Identify、leafsnap等树木叶片数据库中的9500张图片为样本,将叶片的特征融合后作为分类依据;将改进的局部三值模式特征和梯度方向直方图特征采用零均值标准化方法进行融合,采用深度信念网络进行训练、识别和分类。结果表明:融合测试方法识别率可达94.87%,优于其他方法在本数据库的识别率;融合方法比单一特征和支持向量机分类等方法识别率更高,且受光照、噪声等影响的鲁棒性更高;实现了树木叶片的快速识别,解决了依据特征的叶片分类方法识别率较低的问题,改善了已有方法特征选取单一、信息不足和分类器简易等不足。

基于改进LTP特征与CNN的轮胎痕迹检索算法

在公安案件侦破或交通事故处理中,轮胎痕迹图像检索通常用于获取重要比对线索。由于数据特殊且获取难度较大,目前这方面的研究很少且尚无标准数据库。针对轮胎痕迹图像纹理信息复杂并且集中的特点,提出一种适用于轮胎痕迹图像检索的特征,主要贡献包括:提出一种基于局部梯度方向三值模式的纹理特征描述方法,上述特征能有效地描述轮胎痕迹图像纹理信息,相比其它传统纹理描述特征的平均查准率更高;将迁移学习引入卷积神经网络模型的训练中,通过微调网络获得轮胎痕迹图像的新模型,并提取全连接层特征与局部梯度方向三值模式特征进行融合,产生更精确的轮胎痕迹特征。实验结果表明,融合后的特征更适用于描述轮胎痕迹图像的纹理。

复合时空特征的双模态情感识别

目的针对体积局部二值模式应用到视频帧特征提取上,特征维数大,对光照及噪声鲁棒性差等问题,提出一种新的特征描述算法—时空局部三值模式矩(TSLTPM)。考虑到TSLTPM描述的仅是纹理特征,本文进一步融合3维梯度方向直方图(3DHOG)特征来增强对情感视频的描述。方法首先对情感视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSLTPM和3DHOG特征,计算测试序列与已标记的情感训练集特征间的最小欧氏距离,并将其作为独立证据来构造基本概率分配;最后使用D-S证据联合规则得到情感识别结果。结果在FABO数据库上进行实验,表情和姿态单模态分别取得83.06%和94.78%的平均识别率,在表情上分别比VLBP(体积局部二值模式)、LBP-TOP(三正交平面局部二值模式)、TSLTPM、3DHOG高9.27%、12.89%、1.87%、1.13%;在姿态上分别比VLBP、LBP-TOP、TSLTPM、3DHOG高24.61%、27.55%、1.18%、0.98%。将两种模态进行融合以后平均识别率达到96.86%,说明了融合表情和姿态进行情感识别的有效性。结论本文提出的TSLTPM特征将VLBP扩展成时空三值模式,能够有效降低维数,减少光照和噪声对识别的影响,与3DHOG特征形成复合时空特征有效增强了情感视频的分类性能,与典型特征提取算法的对比实验也表明了本文算法的有效性。另外,与其他方法的对比实验也验证了本文融合方法的优越性。

视频序列中表情和姿态的双模态情感识别

针对时空局部方向角模式应用到视频情感识别时,出现的特征稀疏、噪声敏感等问题,提出了一种新的特征提取算法——时空局部三值方向角模式(SLTOP)。考虑到表情和姿态特征的互补性,提出云加权决策融合的分类方法。对视频图像进行预处理,得到表情和姿态两种模态的序列;分别提取表情序列和姿态序列的SLTOP特征,并借鉴灰度矩阵思想解决特征直方图过于稀疏的问题;在决策分类阶段,引入云模型对表情和姿态两种模态进行云加权决策融合,实现双模态情感的最终识别。在FABO数据库中,表情和姿态单模态分别取得了92.21%和96.76%的平均识别率;与体积局部二值模式、三正交平面局部二值模式(LBP-TOP)、时空局部三值模式矩(TSLTPM)比较时,在表情模态上分别高约18.42%、22.01%、9.15%,而在姿态模态上分别高约26.59%、29.53%、1.98%。通过云加权融合得到平均识别率为97.54%,均高于其他实验得到的数据。所提出的SLTOP,对噪声和光照具有很好的稳健性。利用云模型的加权决策融合方法可以较好地发挥表情和姿态分类器的性能,得到较好的识别结果,与其他分类识别方法进行对比实验,结果同样表现出优越性。