基于双曲正切函数的修正线性单元

为解决修正线性单元(ReLU)的神经元死亡现象,提出一个新的激活函数——基于双曲正切函数(tanh)的修正线性单元(ThLU)。ThLU函数正半轴来自于ReLU函数的正半轴,负半轴来自于tanh函数的负半轴。为验证ThLU函数的性能,基于VggNet-16神经网络架构,分别在CIFAR-10和CIFAR-100数据集上进行了试验验证。结果表明:基于ThLU函数训练得到的神经网络模型比基于tanh、ReLU、泄露修正线性单元(LReLU)和指数线性单元(ELU)训练得到的神经网络模型具有更高的准确率、更低的损失。

基于SwinT-YOLOX模型的自动扶梯行人安全检测算法

自动扶梯被广泛应用在公共场合,乘客摔倒事故如果不能被及时发现并处理,会造成严重的人身伤害,因此实现自动扶梯智能化监控管理势在必行。受自动扶梯运行环境复杂、行人多以及局部遮挡情况的影响,传统的人体姿态特征摔倒检测模型效果不佳且检测速度减慢。融合Swin Transformer和YOLOX目标检测算法的优秀策略,提出一种基于SwinT-YOLOX网络模型的自动扶梯行人摔倒检测算法。采用Swin Transformer模型作为骨干网络,颈部网络使用添加注意力机制的YOLOX模型,进一步提升特征图的多样性和表达能力。此外,利用漏斗修正线性单元视觉激活函数构建CBF模块,改进颈部网络和Head网络结构,从而获得更优的特征检测性能。实验结果表明,针对自建扶梯行人摔倒数据库和网络采集实际扶梯行人摔倒事故,与AlphaPose、OpenPose、YOLOv5等算法相比,该算法检测性能明显提高,行人摔倒平均检测精度可以达到95.92%,检测帧率为24.08帧/s,能够快速、精准地检测到乘客摔倒事故发生,监控管理平台立刻采取安全急停措施以保证乘客安全。

基于SimAM注意力机制的轴承故障迁移诊断模型

针对轴承故障在跨工况迁移诊断时,其域不变特征难以提取,易出现模型过拟合这一问题,提出了一种基于无参数注意力模块(SimAM)的轴承故障迁移诊断方法。首先,以一维卷积神经网络作为基本框架,利用自适应批量归一化(AdaBN)对各输出层进行了归一化处理,经两层卷积层和两层池化层后,对输出特征进行了随机节点失活操作;然后,利用改进后的参数化修正线性单元(PReLU)激活函数自适应提取负值输入权值系数,分别以交叉熵损失函数监督训练有标签的源域数据,以均方对数误差(MSLE)作为损失函数训练无标签的目标数据;最后,利用自制实验台数据和凯斯西储轴承公开数据对模型进行了验证,分别以不同的单一工况作为源域,其余工况作为目标域进行了迁移诊断任务研究。研究结果表明:基于SimAM的轴承故障迁移诊断方具有较好的域不变特征提取的性能,且所提特征具有较好的聚类效果;自制实验台中的平均迁移精度在89.1%以上,最高均值可达97.85%,CWRU数据集中的平均迁移精度达98.68%。该成果可为后续轴承故障由实验向工业现场的迁移诊断奠定基础。

基于通道特征聚合的行人重识别算法

在基于深度学习的行人重识别算法中,通道特征易被忽视而导致模型表达能力降低。为此,以ResNeSt50为骨干网络,借鉴SENet通道注意力特点在残差块末尾接入SE block,增强网络对通道特征的提取能力;针对ReLU函数因缺少控制因子而限制不同通道特征图对激活值的准确响应问题,引入一个动态学习因子来丰富通道特征权重信息,以形成新的加权激活函数Weighted ReLU(WReLU);基于分组卷积特征图局部而设计新的激活函数Leaky Weighted ReLU(LWReLU),有效提高不同位置的深度特征表达能力;在Split-Attention和SE block中应用LWReLU,改善Split-Attention对各组特征图的权重学习能力;利用circle loss改进损失函数,优化目标收敛过程,从而提高模型精度。实验结果表明:在CUHK03-NP、Market1501和DukeMTMC-ReID数据集上,所提方法的Rank-1比原骨干网络分别提高了19.08%、0.98%、2.02%,且其mAP比原骨干网络分别提高了17.13%、2.11%、2.56%。

一种新的深度卷积神经网络的SLU函数

修正线性单元(rectified linear unit,ReLU)是深度卷积神经网络常用的激活函数,但当输入为负数时,ReLU的输出为零,造成了零梯度问题;且当输入为正数时,ReLU的输出保持输入不变,使得ReLU函数的平均值恒大于零,引起了偏移现象,从而限制了深度卷积神经网络的学习速率和学习效果.针对ReLU函数的零梯度问题和偏移现象,根据"输出均值接近零的激活函数能够提升神经网络学习性能"原理对其进行改进,提出SLU(softplus linear unit)函数.首先,对负数输入部分进行softplus处理,使得负数输入时SLU函数的输出为负,从而输出平均值更接近于零,减缓了偏移现象;其次,为保证梯度平稳,对SLU的参数进行约束,并固定正数部分的参数;最后,根据SLU对正数部分的处理调整负数部分的参数,确保激活函数在零点处连续可导,信息得以双向传播.设计深度自编码模型在数据集MINST上进行无监督学习,设计网中网卷积神经网络模型在数据集CIFAR-10上进行监督学习.实验结果表明,与ReLU及其相关改进单元相比,基于SLU函数的神经网络模型具有更好的特征学习能力和更高的学习精度.

基于改进YOLOv2模型的驾驶辅助系统实时行人检测

为解决驾驶辅助系统(ADAS)对复杂背景行人和小尺寸行人检测精度较低的问题,基于深度神经网络模型YOLOv2建立了ADAS实时行人检测模型YOLOv2-P。首先在特征提取网络中采用参数化修正线性单元激活函数,以从训练数据中自适应地学习参数,并在行人检测网络中采用多层特征图融合方法,将低层特征图信息与高层特征图信息进行融合;然后使用交叉熵损失函数替代YOLOv2模型中的sigmoid激活函数,并对宽度、高度损失函数进行归一化处理;最后采用迭代自组织数据分析算法对行人数据集中行人边界框尺寸进行聚类。试验结果表明:相比于YOLOv2,YOLOv2-P对复杂背景行人及小尺寸行人的检测精度有明显提升,能够满足ADAS行人检测准确性和实时性需要。

基于深度学习的可扩展Android恶意软件检测和分类方案

Android操作系统是目前移动设备中的主流操作系统之一。它拥有庞大的用户群,因此也出现了许多恶意的Android软件。每年,研究人员都会提出一些新的Android恶意软件分析框架来防御现实世界的Android恶意软件应用程序。论文使用主流的深度学习算法,构建了合适的神经网络,并在网络层之间增加修正线性单元,实现了Android恶意软件的检测和分类。通过对网络的训练,最终得到了一个比较好的恶意检测器(二元分类器)和三个多分类器的结果——基于静态恶意软件二分类器的准确率为95.74%,多分类器的准确率为92.98%,基于动态的恶意软件大类多分类器的准确率为84.48%,基于动态的恶意软件家族小类多分类器的准确率为60.34%。

绝对值激活深度神经网络的串联故障电弧检测

串联故障电弧具有隐蔽性和随机性,发生时线路电流波形受负载类型的影响而具有复杂性,检测难度大,严重威胁用电系统安全。鉴于电流数据具有大量负值的特点,提出用绝对值函数作为激活函数改进AlexNet深度学习网络检测串联故障电弧,并分析了激活函数特性对串联故障电弧检测效果的影响。把实验采集的三类负载分别在正常和发生串联故障电弧状态下的共7200组电流数据制作成训练集和测试集,并分别对使用四种激活函数的AlexNet网络进行训练和测试。实验结果显示,ELU激活的网络最高检测正确率为95.5%;而绝对值激活的网络效果最好,其平均检测正确率最高为97.25%,最低为93%,比ReLU激活的AlexNet网络最高88.75%的平均准确率高出最少4.25个百分点;而使用Sigmoid函数的网络不收敛。分析结果表明线性的激活数据特征有助于提高网络的检测准确率。

基于深度卷积神经网络的图像去噪研究

为更有效地去除图像中的噪声,提出一种深度学习的图像去噪方法。以完整图像作为网络的输入及输出图像,通过隐含层构成由含噪声图像到去噪图像的非线性映射,由卷积子网和反卷积子网构成一种对称式的网络结构,卷积子网学习图像特征,反卷积子网根据特征图恢复原始图像,并结合修正线性单元获取更多的纹理细节。以VOC2012数据集作为训练集,使用Tensorflow在GPU环境下训练网络模型。实验结果表明,与GSM,KSVD,CN2,MLP方法相比,该方法能更有效地去除图像中的噪声,获得更高的峰值信噪比,耗时更短,视觉效果更佳。

一种改进的卷积神经网络SAR目标识别算法

针对卷积神经网络在标签数据不足条件下易发生的过拟合现象及噪声条件下的合成孔径雷达目标识别问题,提出了一种改进的卷积神经网络目标识别算法.首先利用数据增强技术扩增训练集,以提高网络泛化能力;其次利用零相位成分分析对目标进行特征提取,得到一组特征集对卷积神经网络进行预训练.为优化网络结构,防止过拟合现象,在网络中采用了修正线性单元、Dropout、正则化、单位卷积核等稀疏性技术.实验表明,算法对各类目标及其变形目标子类具有较好的识别性能,并对噪声有较强的鲁棒性,是一种有效的目标识别算法.

基于深度学习与改进Gabor特征融合的FVR

由于指静脉图像含有大量弯曲纹理特征,针对传统的Gabor滤波器具有多尺度与多方向特征,但在提取图像弯曲纹理信息能力不足,提出了一种基于深度学习与改进Gabor特征融合的指静脉识别算法。首先对传统Gabor滤波器进行改进,使其具有曲率响应能力,然后使用均匀LBP算子进一步处理得到融合特征,最后将融合特征信息输入到深度信念网络(Deep Belief Network,DBN)进行静脉图像识别,实验中针对预训练时间过长,使用修正线性单元变体(Lea Ky Re LU)改进RBM,通过实验测试表明,上述算法准确率明显优于其它指静脉识别算法。

面向驾驶场景的多尺度特征融合目标检测方法

针对驾驶场景中目标检测卷积神经网络模型检测精度较低的问题,提出一种基于改进RefineDet网络结构的多尺度特征融合目标检测方法。在RefineDet网络结构中嵌入LFIP(Light-weightFeaturizedImagePyramid,轻量级特征化的图像金字塔)网络,将LFIP网络生成的多尺度特征图与RefineDet中的ARM(AnchorRefinement Module,锚点框修正模块)输出的主特征图相融合,提升特征层中锚点框初步分类和回归的输出效果,为ODM(ObjectDetectionModule,目标检测模块)模块提供修正的锚点框以便于进一步回归和多类别预测;在RefineDet网络结构中的ODM之后嵌入多分支结构RFB(ReceptiveFieldBlock,感受野模块),在检测任务中获得不同尺度的感受野以改善主干网络中提取的特征。将模型中的激活函数替换为带有可学习参数的非线性激活函数PReLU(Parametric RectifiedLinearUnit,参数化修正线性单元),加快网络模型的收敛速度;将RefineDet的边界框回归损失函数替换为排斥力损失函数RepulsionLoss,使目标检测中的某预测框更靠近其对应的目标框,并使该预测框远离附近的目标框及预测框,可以提升遮挡情况下目标检测的精度;构建驾驶视觉下的目标检测数据集,共计48260张,其中38608张作为训练集,9652张作为测试集,并在主流的GPU硬件平台进行验证。该方法的mAP为85.59%,优于RefineDet及其他改进算法;FPS为41.7 frame/s,满足驾驶场景目标检测的应用要求。实验结果表明,该方法在检测速度略微下降的情况,能够较好地提升驾驶视觉下的目标检测的精确度,并能够一定程度上解决驾驶视觉下的遮挡目标检测和小目标检测的问题。

改进Softmax分类器的深度卷积神经网络及其在人脸识别中的应用

提出了一种有效的特征学习方法,构建了9层结构的卷积神经网络,利用Softmax回归算法进行人脸分类识别.卷积神经网络在输出层利用改进的Softmax进行分类,在隐藏层采用修正线性单元作为激活函数,并在网络中加入局部响应归一化处理,有效避免了梯度消失问题.利用大量人脸图像数据对网络进行预训练,得到较好的网络初始权重.在针对YALE,FERET,LFW-A等人脸数据库进行人脸识别实验中,与现有的几种人脸识别方法 SDAEs,RRC,MPCRC,CRC,SRC等进行对比表明,该方法在各人脸数据库的识别中均得到较高的识别率.

一种基于双层卷积神经网络的图像去噪方法

卷积神经网络图像去噪模型大部分使用固定噪声水平图像集进行训练,由于噪声水平缺乏灵活性,会产生去噪效果较差的问题。针对此问题,提出一种基于双层卷积神经网络的图像去噪方法。该方法将噪声水平图像作为网络输入,对输入图像进行下采样处理,通过扩张卷积增加感受野,利用批处理和带泄露修正线性单元函数来优化网络。该方法能够灵活处理不同水平的噪声图像,同时还能够使用GPU并行处理提高图像去噪速度。实验结果表明:在主观视觉方面,该方法效果优于当前主流的图像去噪方法;在客观质量评价指标平均峰值信噪比和平均结构相似性图像度量方面,该方法比其他主流方法高0.4~1.8 dB和0.000 3~0.047 7;在计算时间方面,该方法比其他主流图像去噪方法快0.02~0.06 s。

一种新型激活函数:提高深层神经网络建模能力

修正线性单元做为深层神经网络的激活函数,常被用来处理复杂的函数来提高深层神经网络的建模能力。针对传统修正线性单元提出一种新的激活函数——Tanh ReLU,Tanh ReLU在修正线性单元的基础上为其添加一个负值和边界值,同时保证Tanh ReLU函数在原点处相切,以此克服由于修正线性单元激活函数非零均值激活、极大输出值和原点处不连续的缺点而损害网络的生成。将此新的激活函数应用于MNIST手写数据分类实验以验证其建立的深层神经网络的性能;同时针对网络中不同的超参数的选择,来进一步验证Tanh ReLU对于提高深层神经网络模型性能的影响。实验结果表明:与修正线性单元相比,Tanh ReLU建立的深层神经网络得到了更好的分类结果,实现了提高深层神经网络分类性能的目的。

基于卷积神经网络的石刻书法字识别方法

针对石刻及书法字识别时笔迹特征提取复杂且缺乏通用性的问题,提出一种基于深度学习的卷积神经网络(CNN)的自学习特征的书法字识别方法。对拍摄的笔迹图像进行预处理,分割出单个字体并提取字体骨架;利用基于RPReLU(随机参数化修正线性单元)改进的卷积神经网络,分别对笔迹图像和骨架图像提取特征;将两种特征融合成新的特征后,利用三层神经网络提取更高层次的特征实现笔迹的准确识别。实验结果表明,该方法对石刻和书法字的识别率达到99.1%,是一种高效的石刻书法字识别方法。

MS-ADoG域结合ReNLU与VGG-16的矿井双波段图像融合算法

为满足矿井视频监控需求,针对现有图像融合算法获取的融合图像存在伪目标、模糊目标、晕光遮挡目标等问题,提出了一种基于多尺度和自适应高斯差分变换,结合修正非线性单元和VGG-16的矿井双波段图像融合算法。设计了基于多尺度和自适应高斯差分变换的源图像分解模型,将红外和可见光图像分解为基础图像和细节图像;构造了一种修正非线性单元函数,使红外基础图像的权值随可见光基础图像的灰度自动调节,并采用“加权平均”的基础图像融合策略,以获得消除光源干扰的融合基础图像;利用预训练的VGG-16网络模型提取细节图像的4层网络深度特征,获取4对具有不同网络深度特征的融合图像后,通过“极大值选择”方法得到融合细节图像;对融合基础图像和融合细节图像进行重构,获取最终的融合图像。实验结果表明:所提算法能够消除矿井下人工光源干扰,得到场景清晰、特征显著的融合图像,更符合人的视觉特性;同时,改善了异源图像的融合效率,有利于图像的进一步分析处理。与其他典型算法相比,该算法鲁棒性好,克服了传统算法难以提取图像深度特征的缺点,更易于消除光源干扰,获得更加全面、可靠和丰富的场景信息。

一种改进的深度置信网络及其在自然图像分类中的应用

深度置信网络DBN(deep belief network)由受限玻尔兹曼机RBM(restricted Boltzmann machine)堆叠而成。针对RBM只能接受二值输入而导致的信息丢失问题,给出将可视层节点替换为具有高斯噪音的实数节点的解决方法,并且用线性修正节点替代隐层的Sigmoid节点。线性修正单元具有良好的稀疏性,可以很好地提高网络性能。DBN自底向上逐层训练网络,初始化网络的参数。在自然图像数据库中与传统DBN以及BP神经网络做分类性能比较,实验结果表明,改进的DBN的图像平均分类正确率以及时间复杂度都得到了较好的改善。

基于RA-DNN的电力变压器故障分类方法

由于电力变压器故障的现象和原因存在一定的模糊性和随机性,传统方法在复杂的情况下识别变压器故障的精度不高。提出了一种基于深层神经网络的变压器故障分类方法,利用无编码的油中溶解气体分析(dissolved gas analysis, DGA)数据,结合深度学习流行的修正线性单元(rectified linear units, ReLU)函数、Adam优化算法和批归一化(batch normalization, BN)的数据处理方法,通过与传统激活函数Sigmoid函数和随机梯度下降算法(stochastic gradient descent, SGD)做对比试验。结果表明,采用ReLU+Adam方案的神经网络,收敛速度更快,损失函数的收敛值也更低,提高了模型训练的速度和鲁棒性。通过与反向传播神经网络(back propagation neural network, BPNN)、支持向量机(support vector machine, SVM)的试验比较,在变压器故障分类上取得了较好的效果,为电力变压器的故障诊断提供新的方法与思路。

基于U-Net的岩层图像裂缝检测算法应用

为快速检测工程和煤矿矿山的岩层状况,实现对岩层图像的裂缝检测,提出一种基于U-Net的岩层图像裂缝检测算法。采用随机平移与旋转的方式扩充原始数据集,使数据量为原始数据的11倍,并以扩充后的数据集为训练集,较好地解决了数据量不足的问题;图像预处理结合加权平均法和自适应中值滤波算法,保留了裂缝特征信息,提高了检测效果;新增批量归一化(batch normalization, BN)层和修正线性单元(rectified linear unit, ReLU)激活层到网络中,用深度可分离卷积(depthwise separable convolution, DSC)替换普通卷积,增强了网络性能,加快了模型学习速度,得到一个更快、更小的网络模型;使用Adam优化算法,结合均方误差(mean squared error, MSE)损失函数处理训练模型,降低了损失值,提高了精确度。实验结果表明,相较于其他以原始U-Net网络结构为基础的算法,该算法对岩层图像的裂缝检测效果更明显,收敛速度更快,精确度更高,能较好辅助工程勘测,完成检测任务。