中心损失与Softmax损失联合监督下的人脸识别

深度学习在人脸识别领域已经取得了巨大的成就,针对当前大多数卷积神经网络采用Softmax损失函数进行特征分类,增加新的类别样本会减小类间距离的增长趋势,影响网络对特征判别的问题,采用了一种基于中心损失与Softmax损失联合监督的人脸识别算法,来提高网络对特征的识别能力。在Softmax基础上,首先,分别对训练集每个类别在特征空间维护一个类中心,训练过程新增加样本时,网络会约束样本的分类中心距离,从而兼顾了类内聚合与类间分离。其次,引入动量概念,在分类中心更新的时候,通过保留之前的更新方向,同时利用当前批次的梯度微调最终的更新方向,该方法可以在一定程度上增加稳定性,提高网络的学习效率。最后,在人脸识别基准库LFW上的测试实验证明:所提的联合监督算法,在较小的网络训练集上,获得了99.31%的人脸识别精度。

基于内卷神经网络的轻量化步态识别方法

现有步态识别方法存在计算量大、识别速率较慢和易受视角变化影响等弊端,会造成模型难以部署、步态识别准确率降低等问题。针对以上问题本文提出一种基于内卷神经网络的高准确率步态识别方法。首先,基于残差网络架构和内卷神经网络算子提出了内卷神经网络模型,该模型利用内卷层实现步态特征提取以达到减少模型训练参数的目的;然后,在内卷神经网络模型基础上,建立一个由三元组损失函数和传统损失函数Softmax loss组成的联合损失函数,该函数使所提出的模型具有更好的识别性能及更高的跨视角条件的识别准确率;最后,基于CASIA-B步态数据集进行实验验证。实验结果表明,本文所提方法的网络模型参数量仅有5.04 MB,与改进前的残差网络相比参数量减少了53.46%;此外,本文网络在相同视角以及跨视角条件下相比主流算法具有更好的识别准确率,解决了视角变化情况下步态识别准确率降低的问题。

CS-Softmax:一种基于余弦相似性的Softmax损失函数

卷积神经网络分类框架广泛使用了基于Softmax函数的交叉熵损失(Softmax损失函数),在很多领域中都取得了良好的性能.但是由于Softmax损失函数并不鼓励增大类内紧凑性和类间分离性,在一些多分类问题中,卷积神经网络学习到的判别性嵌入表示的性能难以进一步提高.为了增强嵌入表示的判别性,提出了一种基于余弦相似性的Softmax(cosine similarity-based Softmax,CS-Softmax)损失函数.CS-Softmax损失函数在不改变神经网络结构的条件下,分别计算嵌入表示与分类全连接层权重的正相似性和负相似性,以实现同类紧凑和异类分离的训练目标.理论分析表明:边距因子、尺度因子、权重更新因子等参数的引入,可以调节各类别决策边距的大小,增大类内紧凑性、类间分离性,增强学习到的嵌入表示的判别性.在典型的音频、图像数据集上的仿真实验结果表明:CS-Softmax损失函数在不增加计算复杂度的同时,可以有效提升多分类任务性能,在MNIST,CIFAR10,CIFAR100图像分类任务中分别取得了99.81%,95.46%,76.46%的分类精度.

一种基于NLq损失的Softmax分类模型改进

对Softmax回归分类模型,使用基于变形q阶对数的NLq损失代替常用的交叉熵损失。通过实验证明,在使用较小的训练集时,以NLq为损失的Softmax分类模型具有更高的正确率和更好的泛化能力。

改进的轻量化人脸识别算法

嵌入式平台计算资源有限,无法实时运行计算量和参数量巨大的深度学习模型。基于mobilenet v2提出一种改进的轻量化人脸识别算法L-mobilenet v2,首先对原有网络结构进行优化,然后以三元损失函数为主,将传统分类任务中的softmax损失改为Am-softmax作为辅助损失函数,使用10575个人的49万张图片进行联合训练。相比于改进前的模型及训练方法,新模型在LFW测试集和自制数据集的识别准确率达到98.56%和95%,将模型参数量缩减72.3%的同时将识别准确率提高了1.56%和7.1%,在嵌入式平台Jetson nano上的平均识别帧率提升了36.3%。该模型可以在计算资源受限的移动端实时运行。

基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法

为了实现精准畜牧业生产及畜牧业保险理赔中牛只身份的准确识别,试验提出了基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法,即采用深度卷积神经网络(deep convolutional neural networks,DCNNs)模型提取特征,利用去偏置项SoftMax损失函数优化特征空间中的特征分布,提高特征线性可分辨性,解决特征归一化后在投影超平面上的重叠问题;采用紧致度量损失函数结合去偏置项SoftMax损失函数联合监督模型训练,使同类特征与类内特征的平均距离最小化,提高特征聚类的紧凑性和可辨识性,同时兼顾了类内样本分布的多样性;最后试验将本算法(去偏置项SoftMax和紧致度量损失函数联合监督算法)与ArcFace损失函数、标准SoftMax损失函数、去偏置项SoftMax损失函数、标准SoftMax损失函数结合紧致度量损失函数进行了性能对分分析。结果表明:本算法的识别准确率在所有模型中最高,为97.61%;且能对高相似度牛脸正确识别。说明基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法可满足牧场牛只身份识别要求。

判别卷积神经网络的手写字符识别模型

目前用于离线和联机手写字符识别的深度学习模型一般深度较浅,且使用softmax损失函数进行训练,缺乏从不同类样本中学习判别信息的能力。为构建更深层卷积神经网络模型,提出了一种编码器与解码器相结合的卷积神经网络模型,该模型可以有效增加网络深度,避免模型参数剧增导致训练困难的问题。为了进一步提高深度学习模型的识别精度,提出了一种判别损失函数,该损失函数通过最小化训练样本在全连接层的输出与该样本同类别优化原型之间的距离来训练神经网络模型。由于优化原型由最小化分类误差算法学习得到,使用判别损失函数训练的卷积神经网络模型具备了更强的判别能力。在公开的联机手写汉字数据集IAHCC-UCAS2016和离线手写字符数据集MNIST上进行对比实验,实验结果表明,在联机手写数据集上与softmax损失函数相比,判别损失函数的识别率提高了1.04个百分点。在两个数据集上,与现有的用于手写字符识别的传统模型和深度模型相比,提出的判别卷积神经网络模型识别率分别达到95.53%和99.73%,获得了更高的识别精度。

基于改进R-FCN算法与类激活图的销钉类缺陷细粒度检测

销钉类缺陷常见于输电线路无人机巡检图像中,因图像占比小、缺陷特征不明显等原因,其检测精度低于其他类缺陷。针对该问题,采用基于区域的全卷积神经网络(region-based fully convonlutional networks,R-FCN)算法建立目标检测网络,分析混淆矩阵,确定算法改进策略。首先,通过网格化拆分实现高清晰度图像的预处理;其次,构建类别平衡的大间隔Softmax损失函数,平衡样本数量,增大类间方差,改善网络检测精度;最后,通过类激活映射的方法生成金具级类激活图,提取螺栓背景信息,实现2类易混淆螺栓的细粒度分类。在无人机巡检图像数据集中进行测试,比较所提改进算法与其他经典算法的检测结果,验证了改进R-FCN算法对销钉类缺陷的检测能力。

基于优化Focal-XGBoost的变压器状态声振识别模型

受数据样本难以区分和数据平衡性不佳影响,采用声振信号的变压器状态识别模型往往准确率低下。针对这一问题,引入了Focal损失,根据样本训练过程的准确度动态反馈权重,从而构成了Focal-XGBoost优化模型。先通过一组贴合变压器频谱的滤波器充分提取声振信号有效信息,再作XGBoost-PCA筛选降低样本维度。然后采用Focal损失优化原模型中的Softmax目标函数形成Focal-XGBoost模型,并在输入上述样本后根据准确率波动作Focal的超参数优化,进而输出变压器状态识别结果。10 kV和110 kV变压器的试验结果表明,相较传统SVM、KNN等学习模型,Focal-XGBoost减少了XGBoost测试样本中难分样本的误分量44.7%,从而使模型识别准确率更高;此外,非均匀提取在平均精度损失低于0.5%的基础上压缩50%样本空间,进一步降低了模型训练成本。

角度空间三元组损失微调的人脸识别

针对角度Softmax损失强约束存在的问题,提出一种用角度空间三元组损失对角度Softmax损失预训练模型进行微调的算法。算法首先对原来的卷积神经网络结构进行改进,将1×1卷积核与池化层加在不同残差块间,以进行选择更有效的特征。然后用角度空间下的三元组损失对预训练模型进行微调,以降低困难样本的强约束条件。最后在测试时,分别提取原始人脸图像特征和水平翻转的人脸图像特征,对两个特征相加作为最终的人脸特征表达,以丰富人脸特征信息,提高识别率。实验结果表明,在LFW和YTF人脸数据集分别取得了99.25%和94.52%的识别率,在大规模人脸身份识别中,本文提出的方法在仅用单模型和比较小的训练集就能有效地提高人脸识别率。

基于深度学习的腹部多器官图像分割

CT扫描是临床上腹部相关疾病诊断的常规检查方式,通过CT,医生能对腹部的器官结构和组织病变结构产生更加直观的观察,从而提高了疾病诊断的准确性,因此,精准地对CT图片进行图像分割有着非常重要的临床价值。传统的分割算法针对腹部形变较大、体积较小且组织边缘模糊的器官分割效果相对较差。为此,该文提出了基于改进nnUNet腹部多器官图像分割方法,在腹部CT图像上分割肝脏、胃、肠道和胰腺4个器官。该文利用自适应权重的损失函数对nnUNet网络进行改进,使得网络在分割过程中更加关注体积较小且样本数量相对较少的器官特征。实验表明,该文提出方法相对于现有传统的分割方法具有更高的准确性和敏感性。

双监督信号深度学习的电气设备红外故障识别

为提高电气设备红外故障图像识别准确率,提出了基于双监督信号深度学习的电气设备红外故障图像识别方法。首先,使用Slic超像素分割算法合并相似像素成区域块;其次,根据改进后HSV空间的亮度信息判别设备温度异常区域,进而分割出温度异常区域所在的连通区域及所对应的设备;最后,基于GoogLeNet卷积神经网络对电气设备红外故障图像进行特征提取,再采用softmax损失和中心损失两种监督信号对提取的特征进行监督训练,并自行建立700幅电气设备红外故障图像数据集,其中500幅用于训练,200幅用于测试。实验结果表明:使用双监督信号深度学习算法测试准确率达到98.6%,比单独使用softmax损失时准确率提高了1%。该算法能够对变压器套管、电流互感器、避雷器、隔离开关、绝缘子5种电气设备及其对应故障精准定位、识别。

基于数据的不平衡学习大规模分层的目标检测网络方案

通过对公开图形数据集的详细分析,发现数据集有四种典型特征:规模大、标签系统分层、标注不完整和数据不平衡。针对以上数据集的典型特征,在采用更大的骨干网、分布式Softmax损失函数、分类别采样策略、专家模型和重分类器等应对策略后,单模型mAP精度最优能达到62.29。经过集成之后,mAP精度能最终可提升到67.17。试验结果表明,基于数据的不平衡学习大规模分层的目标检测网络方案有效地提升目标的识别率和准确率。

基于Focal损失SSDAE的变压器故障诊断方法

研究变压器的故障诊断对电力系统安全稳定运行具有重大现实意义。以油中溶解气体特征为输入的传统变压器故障诊断方法在处理样本不平衡数据时具有较大的局限性。针对这一问题,文中提出一种基于Focal损失栈式稀疏降噪自编码器(SSDAE)的变压器故障诊断方法。该方法通过类别权重确定超参数,并在原始输入中加入高斯白噪声,有利于自编码器充分提取有效特征,进而得到有效的深度特征提取模型;采用Focal损失函数对模型进行优化,并利用Softmax分类器输出诊断结果。案例分析结果表明,与传统三比值法、反向传播神经网络(BPNN)和支持向量机(SVM)法等变压器故障诊断方法相比,文中方法可进一步提升诊断准确率。

双线性模型在中国菜分类中的应用

本文以中国菜作为研究对象,提出了基于双线性模型的菜品识别方法.由于中国菜里很多菜品的相似性,导致分类的难度很大.本文借鉴了细粒度图像识别方法中的双线性模型,然后使用一种基于映射的方法得到一个更加低维的双线性特征表示.并在训练阶段采用一种大裕量softmax损失函数.该损失函数通过增加一个正整数变量,在损失函数里产生一个裕量,使同种类别的学习难度增加,从而使学到的特征更加有区分性.将网络在一个208类的中国菜数据集上的测试表明,与以往的方法相比,该方法提高了准确率,减少了过拟合,取得了更好的分类结果.

双通道卷积神经网络人脸表情识别

将卷积神经网络的单通道全连接层改为双通道,构建并训练了一个新的双通道卷积神经网络模型以增强模型的特征表达能力。在全连接层用Maxout激活函数代替传统的ReLU激活函数以优化网络内部结构。在网络训练过程中,采用A-Softmax损失,使卷积神经网络能够学习角度判别特征。改进后的卷积神经网络模型在FER2013数据集上准确率为73.6%。

基于深度学习的秀丽隐杆线虫显微图像分割方法

利用计算机实现自动、准确的秀丽隐杆线虫(C.elegans)的各项形态学参数分析,至关重要的是从显微图像上分割出线虫体态,但由于显微镜下的图像噪声较多,线虫边缘像素与周围环境相似,而且线虫的体态具有鞭毛和其他附着物需要分离,多方面因素导致设计一个鲁棒性的C.elegans分割算法仍然面临着挑战。针对这些问题,提出了一种基于深度学习的线虫分割方法,通过训练掩模区域卷积神经网络(Mask R-CNN)学习线虫形态特征实现自动分割。首先,通过改进多级特征池化将高级语义特征与低级边缘特征融合,结合大幅度软最大损失(LMSL)损失算法改进损失计算;然后,改进非极大值抑制;最后,引入全连接融合分支等方法对分割结果进行进一步优化。实验结果表明,相比原始的Mask R-CNN,该方法平均精确率(AP)提升了4.3个百分点,平均交并比(mIOU)提升了4个百分点。表明所提出的深度学习分割方法能够有效提高分割准确率,在显微图像中更加精确地分割出线虫体。

深度度量学习综述

深度度量学习已成为近年来机器学习最具吸引力的研究领域之一,如何有效的度量物体间的相似性成为问题的关键。现有的依赖成对或成三元组的损失函数,由于正负样本可组合的数量极多,因此一种合理的解决方案是仅对训练有意义的正负样本采样,也称为“难例挖掘”。为减轻挖掘有意义样本时的计算复杂度,代理损失设置了数量远远小于样本集合的代理点集。该综述按照时间顺序,总结了深度度量学习领域比较有代表性的算法,并探讨了其与softmax分类的联系,发现两条看似平行的研究思路,实则背后有着一致的思想。进而文章探索了许多致力于提升softmax判别性能的改进算法,并将其引入到度量学习中,从而进一步缩小类内距离、扩大类间距,提高算法的判别性能。

基于改进的Faster R-CNN的齿轮外观缺陷识别研究

为了实现齿轮外观缺陷自动化识别,提高齿轮产品的合格率。针对传统缺陷识别算法泛化差,人工提取特征耗时,提出了一种改进的较快的基于区域卷积神经网络(FasterR-CNN)的齿轮缺陷识别模型。设计出VGG-2CF网络,提高识别较小目标的能力;引入AM-Softmax损失函数,以减小类内特征的差异性,进一步增大类之间差异性;结合机器学习算法中的F度量值(F-measure),提出一种AMF-Softmax损失函数,解决数据不平衡的问题。实验结果表明,提出的改进模型具有较高的识别率,适用于齿轮外观的自动化检测。

改进残差网络的指静脉识别

在指静脉识别中,如何利用卷积神经网络提取具有类间分离和类内聚合的静脉特征是当前的研究热点,为此提出了在卷积神经网络中采用中心损失(center loss)用于减小指静脉的类内距离,同时采用softmax loss用于约束类间距离,以此作为网络的损失函数。为了进一步提高模型的表达能力,采用swish激活函数代替线性整流(rectified linear unit,ReLU)激活函数,在此基础上,将全局平均池化层的输出向量进行归一化操作后作为指静脉的特征向量,减少网络参数的同时保留了指静脉的高级语义信息。结果表明:改进后的指静脉识别算法在FV-USM和MMCBNU-6000这2个数据集上识别的准确率分别达到98.23%和98.35%,优于传统的卷积神经网络识别算法。