基于子特征空间的三维目标复杂背景及非线性光照鲁棒识别

针对三维目标在复杂背景和非线性光照条件下的鲁棒识别问题,采集180幅离面旋转的图像作为训练集,运用主分量分析方法利用10个特征向量对特征空间进行描述,在保持较高计算精度的同时显著降低了特征空间的维数,减少了计算的复杂性。将目标图像的子向量在子特征空间中进行分解得到分解系数进而构造重构向量,提出了基于目标图像与重构向量之间的夹角余弦值分布来作为目标的鲁棒识别准则。模拟结果表明,本文提出的基于子特征空间的目标识别方法能够实现复杂背景及非线性光照条件下的三维目标识别。

面向鲁棒自动语音识别的一致性自监督学习方法

提出了一种基于一致性自监督学习的鲁棒自动语音识别方法。该方法通过使用语音信号仿真技术,模拟一条语音在不同声学场景下的副本;在通过自监督学习方式学习语音表征的同时,极大化一条语音在不同声学环境下对应语音表征的相似性,从而获取到与环境干扰无关的语音表征方式,提高下游语音识别模型的性能。在远讲数据集CHiME-4和会议数据集AMI上的实验表明,所提的一致性自监督学习算法能够取得相比已有的wav2vec2.0自监督学习基线算法30%以上的识别词错误率下降。这表明,所提方法是一种获取噪声无关语音表征、提升鲁棒语音识别性能的有效方法。

噪声鲁棒语音识别研究综述

针对噪声环境下的语音识别问题,对现有的噪声鲁棒语音识别技术进行讨论,阐述了噪声鲁棒语音识别研究的主要问题,并根据语音识别系统的构成将噪声鲁棒语音识别技术按照信号空间、特征空间和模型空间进行分类总结,分析了各种鲁棒语音识别技术的特点、实现,以及在语音识别中的应用。最后展望了进一步的研究方向。

基于FSS与PLP的噪声鲁棒语音识别

提出了一种基于分数阶谱相减(FSS)与感知线性预测(PLP)相结合的噪声鲁棒语音识别方法,记为FSS+PLPC。该方法首先通过FSS在分数阶Fourier域对带噪语音进行降噪处理,然后计算增强语音的均方误差和Itakura距离并进行比较,以获得FSS的近似最优分数阶阶数。最后对根据此阶数得到的增强语音提取感知线性预测倒谱(PLPC)。实验结果表明,FSS+PLPC对于数字语音的识别性能优于传统的谱减法(SS+PLPC)和感知线性预测倒谱(PLPC)法,并且随着信噪比的降低FSS+PLPC表现出较好的噪声鲁棒性。

基于卷积盲源分离的噪声鲁棒性语音识别的研究

研究了一种基于卷积盲分离算法与MFCC(Mel-Frequency Cepstral Coefficient)特征相结合的噪声鲁棒语音识别方法。该方法在预处理阶段,首先计算预白化观测数据的多阶自相关协方差矩阵,以获得多时延处理的二阶解相关统计信息。然后利用得到的二阶统计信息构建两个对称正定矩阵,通过Cholesky因式分解等一系列变换获得唯一存在的矩阵,根据此矩阵估算语音信号并提取MFCC特征用于后续识别。实验结果表明,在低信噪比条件下,该方法对于数字语音的识别性能优于基本的MFCC识别器和文献中已有的卷积分离算法。

基于特征参数归一化的鲁棒语音识别方法综述

目前,自动语音识别系统往往会因为环境中复杂因素的影响,造成训练环境和测试环境存在不匹配现象,使得识别系统性能大幅度下降,极大地限制了语音识别技术的应用范围。近年来,很多鲁棒语音识别技术成功地被提出,这些技术的目标都是相同的,主要是提高系统的鲁棒性,进而提高识别率。其中,基于特征的归一化技术简单而有效,常常被作为鲁棒语音识别的首选方法,它主要是通过对特征向量的统计属性、累积密度函数或功率谱的归一化来补偿环境不匹配产生的影响。该文主要对目前主流的归一化方法进行介绍,其中包括倒谱矩归一化方法、直方图均衡化方法以及调频谱归一化方法等。

基于Borda投票加权的子模块稀疏表示鲁棒模式识别算法

利用子模块稀疏表示进行分类时,具有遮挡或强烈光照变化的子模块中各类残差可能很相近,此时正确类别残差可能不是最小,依据稀疏表示分类的残差最小判别准则将导致子模块错误分类,影响最终判别结果。针对此问题,提出基于Borda投票加权的子模块稀疏表示分类算法。首先利用Borda分别对子模块中的每类进行投票,然后利用子模块稀疏度和子模块残差确定该子模块的可信度权重,依据子模块可信度权重将所有子模块中每类票数进行加权求和,进行最终分类判别。实验结果表明,当图像具有遮挡或强烈光照变化时,提出的分类算法具有很好的有效性和鲁棒性。

基于矢量泰勒级数的鲁棒语音识别

矢量泰勒级数是一种有效的抗噪声鲁棒语音识别算法.然而在对数谱域,美尔滤波器组的不同通道之间有较强的相关性,因而难以从含噪语音中准确估计噪声的方差.提出了一种基于矢量泰勒级数的倒谱域特征补偿算法.该算法在倒谱域,用一个高斯混合模型描述语音倒谱特征的分布,通过矢量泰勒级数从含噪语音中估计噪声的均值和方差.实验结果表明,此算法能明显提高语音识别系统的性能,优于基于矢量泰勒级数的对数谱域特征补偿算法.

一种基于噪声对消与倒谱均值相减的鲁棒语音识别方法

提出一种基于语音增强算法的噪声鲁棒语音识别方法.在语音识别预处理阶段,通过噪声对消语音增强法来抑制噪声提高信噪比.然后对增强语音提取Mel频段倒谱特征参数,并在倒谱域应用倒谱均值相减处理来补偿增强语音中的失真成分和剩余噪声.实验结果表明,在低信噪比(-12～0 dB)条件下,该方法对于数字语音识别具有较好的识别率,其性能明显优于基本的Mel频段倒谱参数识别器、传统的谱减法和噪声对消语音增强法.

基于随机投影与加权稀疏表示残差的光照鲁棒人脸识别方法

针对人脸识别中的光照变化问题,利用随机投影对传统稀疏表示分类器进行改进,提出一种基于随机投影与加权稀疏表示残差的光照鲁棒人脸识别方法。通过对人脸图像进行光照规范化处理,尽量消除人脸图像上的恶劣光照,取得经光照校正的人脸样本后进行多次随机空间投影,进一步丰富样本的光照不变特征,以减小光照变化对人脸识别带来的影响。在此基础上,对利用单一残差分类的传统稀疏表示分类方法进行改进,样本经过多次随机投影和稀疏表示会产生多个样本特征和重构残差,利用样本特征的能量来确定各个重构残差的融合权值,最终得到一种稳定性和可靠性更强的加权残差。在Yale B和CMU PIE两个光照变化较大的人脸库上的实验结果表明,改进的方法具有较强的光照鲁棒性。与传统稀疏表示方法相比,本文提出的方法在Yale B人脸库上两组实验的平均识别率分别提高了25.76%和46.39%,在CMU PIE上的平均识别率提高了10%左右。

Levy变异ABC算法优化二阶Volterra核的鲁棒人脸识别

针对人脸识别中由于人脸表情、姿态、尺度、光照和其他环境参数变化而影响识别性能的问题,提出了一种随机优化算法。首先,将原始图像划分成特定空间子块,并使用二阶Volterra核寻找非线性函数映射;然后,使用人工蜂群算法获取最优Volterra核,从而在特征空间内最大化类间距离并最小化类内距离;最后,利用投票策略和最近邻分类器完成人脸的分类。在两个通用人脸数据集Yale A和扩展Yale B上对该算法进行了评估,并将其与其他统计学习算法和几种最新提出的方法进行了比较。实验结果表明了Levy变异人工蜂群算法优化Volterra核的有效性,识别效果明显优于许多现有算法。

增强LGBP融合广义平均神经网络的鲁棒人脸识别研究

针对人脸识别中由于人脸表情、姿态、尺度等变化而影响识别效果的问题,提出一种融合增强局部Gabor二值模式和广义平均神经网络方法。首先,对归一化的人脸图像进行多方向、多尺度Gabor小波滤波,将生成的Gabor幅值模式分成多个子区域;然后,利用增强局部二值模式对每个子区域进行操作形成特征向量;最后,利用广义神经网络进行识别。在ORL、FERET及LFW上的实验利用错误接受率、错误拒绝率等错误率和时间复杂度评估方法的有效性。实验结果表明,相比其它几种较新的方法,取得了更好的识别效果。

基于自适应鲁棒在线度量学习的面部表情识别

针对自然面部表情识别中的噪声标记问题,提出了一种自适应鲁棒在线度量学习方法。首先,学习新的度量空间以增加不同面部表情的判别性;然后,定义敏感度和特异性来表征每个注释器;最后,引入表示真实类标签的潜在变量,在期望最大化架构中迭代求解距离度量和注释器的可靠性。在MFP和AR人脸数据库上的实验结果表明,相比其他几种较新的方法,本方法在自然表情识别方面能获得更高的识别精度,高兴表情识别率可高达99.7%,并且在一定程度上降低了计算开销。

基于EBF网络的非线性特征映射器及其在鲁棒话者识别中的应用

话者识别系统的性能在实际环境中往往会有很大程度的降低。本文中提出了一种新的基于EBF神经网络的特征映射器,试图克服上述问题。本文通过训练EBF神经网络来构建一个映射器,以失真的语音特征和未失真的语音特征分别作为其输入和相应的理想输出。也就是说,网络将在以失真倒频谱为输入的情况下,给出未失真的倒频谱。在特征恢复阶段,将失真的语音特征通过该特征映射器即可复原成未失真语音特征。这些复原后的语音特征就可以作为未失真语音来对话者模型进行测试。本文通过包含有258个话者的TIMIT和NTIMIT语音集对上述思路进行了试验,实验表明该特征映射器可以显著地改善识别性能。

基于缺失数据补偿的鲁棒语音识别

针对实际环境中语音信号的时频分量普遍存在部分缺失或严重失真的问题,在已知语音先验知识的条件下,提出了一种利用可靠时频分量对缺失数据进行补偿的方法。利用贝叶斯准则,将最优补偿转化为求解后验概率最大化的问题,并利用缺失数据自身的能量信息,给出了一种局部最优补偿的方法。实验表明,该方法在各种噪声、信噪比环境下,综合性能优于传统的鲁棒语音识别技术;采用缺失信息对补偿进行限定,在低信噪比下鲁棒性能有了明显的提高。

CLAHE优化低频DCT系数重变换的鲁棒人脸识别

针对光照、表情、姿态、遮挡等变化显著影响人脸识别系统性能的问题,提出了基于限制对比度自适应直方图均衡化(CLAHE)的低频离散余弦变换(DCT)系数重变换算法。将图像划分成多个互不重叠的局部小块,使用CLAHE对每个局部小块进行局部对比拉伸以实现去噪,通过缩减适当数目的低频DCT系数来消除人脸图像中的光照变化;利用核主成分分析进行特征提取,采用K-最近邻分类器以完成最终的人脸识别。在ORL、扩展YaleB和AR人脸数据库上的实验验证了所提算法的有效性和鲁棒性,实验结果表明,相比其他几种较为先进的人脸识别技术,所提算法取得了更高的识别率,同时大大降低了识别所用时间。

基于计算听觉场景分析和语者模型信息的语音识别鲁棒前端研究

传统抗噪算法无法解决人声背景下语音识别(Automatic speech recognition,ASR)系统的鲁棒性问题.本文提出了一种基于计算听觉场景分析(Computational auditory scene analysis,CASA)和语者模型信息的混合语音分离系统.该系统在CASA框架下,利用语者模型信息和因大子最大矢量量化(Factorial-max vector quantization,MAXVQ)方法进行实值掩码估计,实现了两语者混合语音中有效地分离出目标说话人语音的目标,从而为ASR系统提供了鲁棒的识别前端.在语音分离挑战(Speech separation challenge,SSC)数据集上的评估表明,相比基线系统,本文所提出的系统的语音识别正确率提高了15.68%,相关的实验结果也验证了本文提出的多语者识别和实值掩码估计的有效性.

基于直方图均衡的鲁棒性语音识别研究

介于环境条件的变化以及噪声等因素的影响,识别系统的性能急剧下降的原因而出现的鲁棒性语音识别研究,其试图解决的就是如何在实际环境下提升语音识别系统性能的问题。在理论上,噪声鲁棒性所面临的问题其实就是训练和识别环境之间的不匹配。而这种不匹配通常都会体现在特征参数概率分布的差异上。特征参数规整(归一化,Normalization)可以在一定程度上减小这种不匹配的程度,进而提升系统性能。通常的抗噪声方法主要可以分为三种:前端处理、特征值处理以及模型补偿。直方图均衡化(HEQ)属于特征值处理抗噪声方法的类型。作为一种能够改善线性转换方法缺点的替代方法,直方均衡法(HEQ)已经被用于弥补声失配。

通用学习框架结合2DPCA的鲁棒人脸识别

针对现有的人脸识别算法由于光照、表情、姿态、伪装等变化而严重影响识别性能的问题,提出了一种基于通用学习框架结合2DPCA的鲁棒人脸识别算法。首先借助于额外的通用训练样本集进行样本的叠加以增加训练样本的数量;然后利用经典的2DPCA算法进行特征提取;最后,利用最近邻分类器对人脸进行分类并完成最终的人脸识别。在基准人脸数据库ORL、FERET及鲁棒人脸数据库AR、扩展YaleB上的实验验证了该算法的有效性及鲁棒性,实验结果表明,相比其他几种人脸识别算法,提出的算法不仅提高了人脸识别率,而且大大地减少了识别所用时间,有望应用于实时鲁棒人脸自动识别系统中。

基于本地蒸馏联邦学习的鲁棒语音识别技术

当联邦学习(FL)算法应用于鲁棒语音识别任务时,为解决训练数据非独立同分布(Non-IID)与客户端模型缺乏个性化问题,提出基于个性化本地蒸馏的联邦学习(PLD-FLD)算法。客户端通过上行链路上传本地Logits并在中心服务器聚合后下传参数,当边缘端模型测试性能优于本地模型时,利用下载链路接收中心服务器参数,确保了本地模型的个性化与泛化性,同时将模型参数与全局Logits通过下行链路下传至客户端,实现本地蒸馏学习,解决了训练数据的Non-IID问题。在AISHELL与PERSONAL数据集上的实验结果表明,PLD-FLD算法能在模型性能与通信成本之间取得较好的平衡,面向军事装备控制任务的语音识别准确率高达91%,相比于分布式训练的FL和FLD算法具有更快的收敛速度和更强的鲁棒性。