中心损失与Softmax损失联合监督下的人脸识别

深度学习在人脸识别领域已经取得了巨大的成就,针对当前大多数卷积神经网络采用Softmax损失函数进行特征分类,增加新的类别样本会减小类间距离的增长趋势,影响网络对特征判别的问题,采用了一种基于中心损失与Softmax损失联合监督的人脸识别算法,来提高网络对特征的识别能力。在Softmax基础上,首先,分别对训练集每个类别在特征空间维护一个类中心,训练过程新增加样本时,网络会约束样本的分类中心距离,从而兼顾了类内聚合与类间分离。其次,引入动量概念,在分类中心更新的时候,通过保留之前的更新方向,同时利用当前批次的梯度微调最终的更新方向,该方法可以在一定程度上增加稳定性,提高网络的学习效率。最后,在人脸识别基准库LFW上的测试实验证明:所提的联合监督算法,在较小的网络训练集上,获得了99.31%的人脸识别精度。

基于余弦Softmax损失的说话人验证研究

基于神经网络提取说话人嵌入在说话人验证任务上显示出了良好的性能,然而传统的说话人嵌入网络通常采用Softmax损失作为训练标准,其说话人特征类间区分不明显。因此本文通过引入负样本对(来自不同类别的两个样本)学习改进Softmax损失,在余弦角度空间中学习不同说话人特征存在明显角度间距且同一说话人特征聚集紧密的嵌入特征。在公开数据集AISHELL数据集上进行的说话人验证实验表明,与A-softmax相比,该损失函数的等误差率更低且ROC曲线下面积更大。

基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法

为了实现精准畜牧业生产及畜牧业保险理赔中牛只身份的准确识别,试验提出了基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法,即采用深度卷积神经网络(deep convolutional neural networks,DCNNs)模型提取特征,利用去偏置项SoftMax损失函数优化特征空间中的特征分布,提高特征线性可分辨性,解决特征归一化后在投影超平面上的重叠问题;采用紧致度量损失函数结合去偏置项SoftMax损失函数联合监督模型训练,使同类特征与类内特征的平均距离最小化,提高特征聚类的紧凑性和可辨识性,同时兼顾了类内样本分布的多样性;最后试验将本算法(去偏置项SoftMax和紧致度量损失函数联合监督算法)与ArcFace损失函数、标准SoftMax损失函数、去偏置项SoftMax损失函数、标准SoftMax损失函数结合紧致度量损失函数进行了性能对分分析。结果表明:本算法的识别准确率在所有模型中最高,为97.61%;且能对高相似度牛脸正确识别。说明基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法可满足牧场牛只身份识别要求。

角度空间三元组损失微调的人脸识别

针对角度Softmax损失强约束存在的问题,提出一种用角度空间三元组损失对角度Softmax损失预训练模型进行微调的算法。算法首先对原来的卷积神经网络结构进行改进,将1×1卷积核与池化层加在不同残差块间,以进行选择更有效的特征。然后用角度空间下的三元组损失对预训练模型进行微调,以降低困难样本的强约束条件。最后在测试时,分别提取原始人脸图像特征和水平翻转的人脸图像特征,对两个特征相加作为最终的人脸特征表达,以丰富人脸特征信息,提高识别率。实验结果表明,在LFW和YTF人脸数据集分别取得了99.25%和94.52%的识别率,在大规模人脸身份识别中,本文提出的方法在仅用单模型和比较小的训练集就能有效地提高人脸识别率。

改进的轻量化人脸识别算法

嵌入式平台计算资源有限,无法实时运行计算量和参数量巨大的深度学习模型。基于mobilenet v2提出一种改进的轻量化人脸识别算法L-mobilenet v2,首先对原有网络结构进行优化,然后以三元损失函数为主,将传统分类任务中的softmax损失改为Am-softmax作为辅助损失函数,使用10575个人的49万张图片进行联合训练。相比于改进前的模型及训练方法,新模型在LFW测试集和自制数据集的识别准确率达到98.56%和95%,将模型参数量缩减72.3%的同时将识别准确率提高了1.56%和7.1%,在嵌入式平台Jetson nano上的平均识别帧率提升了36.3%。该模型可以在计算资源受限的移动端实时运行。

判别卷积神经网络的手写字符识别模型

目前用于离线和联机手写字符识别的深度学习模型一般深度较浅,且使用softmax损失函数进行训练,缺乏从不同类样本中学习判别信息的能力。为构建更深层卷积神经网络模型,提出了一种编码器与解码器相结合的卷积神经网络模型,该模型可以有效增加网络深度,避免模型参数剧增导致训练困难的问题。为了进一步提高深度学习模型的识别精度,提出了一种判别损失函数,该损失函数通过最小化训练样本在全连接层的输出与该样本同类别优化原型之间的距离来训练神经网络模型。由于优化原型由最小化分类误差算法学习得到,使用判别损失函数训练的卷积神经网络模型具备了更强的判别能力。在公开的联机手写汉字数据集IAHCC-UCAS2016和离线手写字符数据集MNIST上进行对比实验,实验结果表明,在联机手写数据集上与softmax损失函数相比,判别损失函数的识别率提高了1.04个百分点。在两个数据集上,与现有的用于手写字符识别的传统模型和深度模型相比,提出的判别卷积神经网络模型识别率分别达到95.53%和99.73%,获得了更高的识别精度。

基于改进R-FCN算法与类激活图的销钉类缺陷细粒度检测

销钉类缺陷常见于输电线路无人机巡检图像中,因图像占比小、缺陷特征不明显等原因,其检测精度低于其他类缺陷。针对该问题,采用基于区域的全卷积神经网络(region-based fully convonlutional networks,R-FCN)算法建立目标检测网络,分析混淆矩阵,确定算法改进策略。首先,通过网格化拆分实现高清晰度图像的预处理;其次,构建类别平衡的大间隔Softmax损失函数,平衡样本数量,增大类间方差,改善网络检测精度;最后,通过类激活映射的方法生成金具级类激活图,提取螺栓背景信息,实现2类易混淆螺栓的细粒度分类。在无人机巡检图像数据集中进行测试,比较所提改进算法与其他经典算法的检测结果,验证了改进R-FCN算法对销钉类缺陷的检测能力。

双监督信号深度学习的电气设备红外故障识别

为提高电气设备红外故障图像识别准确率,提出了基于双监督信号深度学习的电气设备红外故障图像识别方法。首先,使用Slic超像素分割算法合并相似像素成区域块;其次,根据改进后HSV空间的亮度信息判别设备温度异常区域,进而分割出温度异常区域所在的连通区域及所对应的设备;最后,基于GoogLeNet卷积神经网络对电气设备红外故障图像进行特征提取,再采用softmax损失和中心损失两种监督信号对提取的特征进行监督训练,并自行建立700幅电气设备红外故障图像数据集,其中500幅用于训练,200幅用于测试。实验结果表明:使用双监督信号深度学习算法测试准确率达到98.6%,比单独使用softmax损失时准确率提高了1%。该算法能够对变压器套管、电流互感器、避雷器、隔离开关、绝缘子5种电气设备及其对应故障精准定位、识别。

基于数据的不平衡学习大规模分层的目标检测网络方案

通过对公开图形数据集的详细分析,发现数据集有四种典型特征:规模大、标签系统分层、标注不完整和数据不平衡。针对以上数据集的典型特征,在采用更大的骨干网、分布式Softmax损失函数、分类别采样策略、专家模型和重分类器等应对策略后,单模型mAP精度最优能达到62.29。经过集成之后,mAP精度能最终可提升到67.17。试验结果表明,基于数据的不平衡学习大规模分层的目标检测网络方案有效地提升目标的识别率和准确率。

双线性模型在中国菜分类中的应用

本文以中国菜作为研究对象,提出了基于双线性模型的菜品识别方法.由于中国菜里很多菜品的相似性,导致分类的难度很大.本文借鉴了细粒度图像识别方法中的双线性模型,然后使用一种基于映射的方法得到一个更加低维的双线性特征表示.并在训练阶段采用一种大裕量softmax损失函数.该损失函数通过增加一个正整数变量,在损失函数里产生一个裕量,使同种类别的学习难度增加,从而使学到的特征更加有区分性.将网络在一个208类的中国菜数据集上的测试表明,与以往的方法相比,该方法提高了准确率,减少了过拟合,取得了更好的分类结果.

基于改进ResNet网络的有遮挡车牌识别

为了提高有遮挡车牌的识别准确率,提出一种改进深度残差网络(Deep residual network,ResNet)损失函数的车牌识别方法。首先运用图像平滑处理技术对图像特征进行增强,其次利用边缘检测算法实现对车牌的定位,然后基于先验知识按照标准车牌中各个字符的比例对车牌进行分割。在此基础上,运用改进后的ResNet网络对有遮挡车牌样本库进行训练以及识别,并采用同样样本大小的无遮挡车牌样本库进行对比实验。实验结果表明,改进后的ResNet网络采用有遮挡车牌样本库训练的模型具有较好的识别准确率,且更具有鲁棒性。

深度卷积神经网络的判别性人脸识别算法

针对Softmax(柔性最大值)损失对特征只有可分性的不足,提出一种基于深度卷积神经网络的判别性人脸识别算法.该算法首先根据Softmax损失特征分布,在特征和权重向量间施加一个类内余弦相似性损失,使类内更加紧凑,类间尽可能分离;然后在Softmax损失基础上通过归一化特征来更好地模拟低质量人脸图像,并通过归一化权重来减轻类别不平衡,使与测试时的余弦相似性度量一致;最后联合归一化的Softmax损失和类内余弦相似性损失在预训练模型上进行微调.该算法在人脸识别基准测试集LFW(户外人脸标记)和YTF(You Tube人脸数据库)上分别取得了98.72%和93.38%的识别率,实验结果表明:在大规模人脸身份识别中,该算法提高了特征的判别性,增强了模型的泛化能力,能有效提高人脸识别率.