基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法

为了实现精准畜牧业生产及畜牧业保险理赔中牛只身份的准确识别,试验提出了基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法,即采用深度卷积神经网络(deep convolutional neural networks,DCNNs)模型提取特征,利用去偏置项SoftMax损失函数优化特征空间中的特征分布,提高特征线性可分辨性,解决特征归一化后在投影超平面上的重叠问题;采用紧致度量损失函数结合去偏置项SoftMax损失函数联合监督模型训练,使同类特征与类内特征的平均距离最小化,提高特征聚类的紧凑性和可辨识性,同时兼顾了类内样本分布的多样性;最后试验将本算法(去偏置项SoftMax和紧致度量损失函数联合监督算法)与ArcFace损失函数、标准SoftMax损失函数、去偏置项SoftMax损失函数、标准SoftMax损失函数结合紧致度量损失函数进行了性能对分分析。结果表明:本算法的识别准确率在所有模型中最高,为97.61%;且能对高相似度牛脸正确识别。说明基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法可满足牧场牛只身份识别要求。

基于内卷神经网络的轻量化步态识别方法

现有步态识别方法存在计算量大、识别速率较慢和易受视角变化影响等弊端,会造成模型难以部署、步态识别准确率降低等问题。针对以上问题本文提出一种基于内卷神经网络的高准确率步态识别方法。首先,基于残差网络架构和内卷神经网络算子提出了内卷神经网络模型,该模型利用内卷层实现步态特征提取以达到减少模型训练参数的目的;然后,在内卷神经网络模型基础上,建立一个由三元组损失函数和传统损失函数Softmax loss组成的联合损失函数,该函数使所提出的模型具有更好的识别性能及更高的跨视角条件的识别准确率;最后,基于CASIA-B步态数据集进行实验验证。实验结果表明,本文所提方法的网络模型参数量仅有5.04 MB,与改进前的残差网络相比参数量减少了53.46%;此外,本文网络在相同视角以及跨视角条件下相比主流算法具有更好的识别准确率,解决了视角变化情况下步态识别准确率降低的问题。

CS-Softmax:一种基于余弦相似性的Softmax损失函数

卷积神经网络分类框架广泛使用了基于Softmax函数的交叉熵损失(Softmax损失函数),在很多领域中都取得了良好的性能.但是由于Softmax损失函数并不鼓励增大类内紧凑性和类间分离性,在一些多分类问题中,卷积神经网络学习到的判别性嵌入表示的性能难以进一步提高.为了增强嵌入表示的判别性,提出了一种基于余弦相似性的Softmax(cosine similarity-based Softmax,CS-Softmax)损失函数.CS-Softmax损失函数在不改变神经网络结构的条件下,分别计算嵌入表示与分类全连接层权重的正相似性和负相似性,以实现同类紧凑和异类分离的训练目标.理论分析表明:边距因子、尺度因子、权重更新因子等参数的引入,可以调节各类别决策边距的大小,增大类内紧凑性、类间分离性,增强学习到的嵌入表示的判别性.在典型的音频、图像数据集上的仿真实验结果表明:CS-Softmax损失函数在不增加计算复杂度的同时,可以有效提升多分类任务性能,在MNIST,CIFAR10,CIFAR100图像分类任务中分别取得了99.81%,95.46%,76.46%的分类精度.

判别卷积神经网络的手写字符识别模型

目前用于离线和联机手写字符识别的深度学习模型一般深度较浅,且使用softmax损失函数进行训练,缺乏从不同类样本中学习判别信息的能力。为构建更深层卷积神经网络模型,提出了一种编码器与解码器相结合的卷积神经网络模型,该模型可以有效增加网络深度,避免模型参数剧增导致训练困难的问题。为了进一步提高深度学习模型的识别精度,提出了一种判别损失函数,该损失函数通过最小化训练样本在全连接层的输出与该样本同类别优化原型之间的距离来训练神经网络模型。由于优化原型由最小化分类误差算法学习得到,使用判别损失函数训练的卷积神经网络模型具备了更强的判别能力。在公开的联机手写汉字数据集IAHCC-UCAS2016和离线手写字符数据集MNIST上进行对比实验,实验结果表明,在联机手写数据集上与softmax损失函数相比,判别损失函数的识别率提高了1.04个百分点。在两个数据集上,与现有的用于手写字符识别的传统模型和深度模型相比,提出的判别卷积神经网络模型识别率分别达到95.53%和99.73%,获得了更高的识别精度。

基于改进R-FCN算法与类激活图的销钉类缺陷细粒度检测

销钉类缺陷常见于输电线路无人机巡检图像中,因图像占比小、缺陷特征不明显等原因,其检测精度低于其他类缺陷。针对该问题,采用基于区域的全卷积神经网络(region-based fully convonlutional networks,R-FCN)算法建立目标检测网络,分析混淆矩阵,确定算法改进策略。首先,通过网格化拆分实现高清晰度图像的预处理;其次,构建类别平衡的大间隔Softmax损失函数,平衡样本数量,增大类间方差,改善网络检测精度;最后,通过类激活映射的方法生成金具级类激活图,提取螺栓背景信息,实现2类易混淆螺栓的细粒度分类。在无人机巡检图像数据集中进行测试,比较所提改进算法与其他经典算法的检测结果,验证了改进R-FCN算法对销钉类缺陷的检测能力。

基于数据的不平衡学习大规模分层的目标检测网络方案

通过对公开图形数据集的详细分析,发现数据集有四种典型特征:规模大、标签系统分层、标注不完整和数据不平衡。针对以上数据集的典型特征,在采用更大的骨干网、分布式Softmax损失函数、分类别采样策略、专家模型和重分类器等应对策略后,单模型mAP精度最优能达到62.29。经过集成之后,mAP精度能最终可提升到67.17。试验结果表明,基于数据的不平衡学习大规模分层的目标检测网络方案有效地提升目标的识别率和准确率。

基于改进的Faster R-CNN的齿轮外观缺陷识别研究

为了实现齿轮外观缺陷自动化识别,提高齿轮产品的合格率。针对传统缺陷识别算法泛化差,人工提取特征耗时,提出了一种改进的较快的基于区域卷积神经网络(FasterR-CNN)的齿轮缺陷识别模型。设计出VGG-2CF网络,提高识别较小目标的能力;引入AM-Softmax损失函数,以减小类内特征的差异性,进一步增大类之间差异性;结合机器学习算法中的F度量值(F-measure),提出一种AMF-Softmax损失函数,解决数据不平衡的问题。实验结果表明,提出的改进模型具有较高的识别率,适用于齿轮外观的自动化检测。

改进残差网络的指静脉识别

在指静脉识别中,如何利用卷积神经网络提取具有类间分离和类内聚合的静脉特征是当前的研究热点,为此提出了在卷积神经网络中采用中心损失(center loss)用于减小指静脉的类内距离,同时采用softmax loss用于约束类间距离,以此作为网络的损失函数。为了进一步提高模型的表达能力,采用swish激活函数代替线性整流(rectified linear unit,ReLU)激活函数,在此基础上,将全局平均池化层的输出向量进行归一化操作后作为指静脉的特征向量,减少网络参数的同时保留了指静脉的高级语义信息。结果表明:改进后的指静脉识别算法在FV-USM和MMCBNU-6000这2个数据集上识别的准确率分别达到98.23%和98.35%,优于传统的卷积神经网络识别算法。

基于改进ResNet网络的有遮挡车牌识别

为了提高有遮挡车牌的识别准确率,提出一种改进深度残差网络(Deep residual network,ResNet)损失函数的车牌识别方法。首先运用图像平滑处理技术对图像特征进行增强,其次利用边缘检测算法实现对车牌的定位,然后基于先验知识按照标准车牌中各个字符的比例对车牌进行分割。在此基础上,运用改进后的ResNet网络对有遮挡车牌样本库进行训练以及识别,并采用同样样本大小的无遮挡车牌样本库进行对比实验。实验结果表明,改进后的ResNet网络采用有遮挡车牌样本库训练的模型具有较好的识别准确率,且更具有鲁棒性。

显著区域抑制与多尺度特征融合的建筑风格识别

针对建筑元素特征提取不全、相似建筑风格识别困难等问题,提出一种显著区域抑制与多尺度特征融合(salient region suppression and multi-scale feature fusion,SRSMSFF)的建筑风格识别方法。首先,采用改进的Resnet18提取初始建筑特征。然后,设计显著区域抑制模块(salient region suppression module,SRSM),通过隐藏最具判别性区域,引导网络学习潜在区域的特征,并设计多尺度特征融合网络(multi-scale feature fusion,MSFF),将多尺度结构与显著区域抑制相结合,以获取更完整的建筑元素特征。接着,利用通道注意力赋予各通道相应的权重,以突出重要的通道信息。最后,大边距度量损失函数(large-margin Softmax loss function,L-Softmax)通过最大化特征嵌入空间的决策边界,改善相似建筑风格的识别。在公共建筑数据集10类、25类及自建中国古建筑数据集上的实验结果表明,本文方法的准确率分别达到80.21%、64.4%和88.21%,其性能优于目前的先进方法。