mnist数据集上非线性激活函数relu的两个性质

非线性激活函数在卷积神经网络的结构中起重要的作用,卷积神经网络是将高维数的线性不可分数据经卷积神经网络处理后变成低维数的线性可分数据,非线性的激活函数就是将高维非线性数据转化成低维线性可分数据最强有力的工具。基于激活函数relu通过坐标对称变换和旋转变换得到两类新的激活函数,并验证了这两类新构建的非线性激活函数在mnist上和激活函数relu能起到同样的效果。

一种改进的基于幂线性单元的激活函数

针对修正线性单元(ReLU)完全丢弃网络中包含有用信息的负激活值问题,基于参数化修正线性单元(PReLU)和指数线性单元(ELU)的研究,提出一种新颖的参数化激活函数幂线性单元(PoLU)。PoLU对输入的负激活部分实施有符号的幂非线性变化,幂函数的参数是可以在CNN训练过程中自适应学习的,同时像ReLU那样保持正激活部分不变。PoLU可以高效地实现并且灵活地运用到不同的卷积神经网络架构中。在广泛使用的CIFAR-10/100数据库上的实验结果表明,PoLU要优于ReLU和它相对应的激活函数。

基于双曲正切函数的修正线性单元

为解决修正线性单元(ReLU)的神经元死亡现象,提出一个新的激活函数——基于双曲正切函数(tanh)的修正线性单元(ThLU)。ThLU函数正半轴来自于ReLU函数的正半轴,负半轴来自于tanh函数的负半轴。为验证ThLU函数的性能,基于VggNet-16神经网络架构,分别在CIFAR-10和CIFAR-100数据集上进行了试验验证。结果表明:基于ThLU函数训练得到的神经网络模型比基于tanh、ReLU、泄露修正线性单元(LReLU)和指数线性单元(ELU)训练得到的神经网络模型具有更高的准确率、更低的损失。

ReLU激活函数优化研究

门控循环单元(GRU)是一种改进型的长短期记忆模型(LSTM)结构,有效改善了LSTM训练耗时的缺点。在GRU的基础上,对激活函数sigmoid,tanh,ReLU等性能进行了比较和研究,详细分析了几类激活函数的优缺点,提出了一种新的激活函数双曲正切线性单元(TLU)。实验证明:新的激活函数既能显著地加快深度神经网络的训练速度,又有效降低训练误差。

一种新型激活函数:提高深层神经网络建模能力

修正线性单元做为深层神经网络的激活函数,常被用来处理复杂的函数来提高深层神经网络的建模能力。针对传统修正线性单元提出一种新的激活函数——Tanh ReLU,Tanh ReLU在修正线性单元的基础上为其添加一个负值和边界值,同时保证Tanh ReLU函数在原点处相切,以此克服由于修正线性单元激活函数非零均值激活、极大输出值和原点处不连续的缺点而损害网络的生成。将此新的激活函数应用于MNIST手写数据分类实验以验证其建立的深层神经网络的性能;同时针对网络中不同的超参数的选择,来进一步验证Tanh ReLU对于提高深层神经网络模型性能的影响。实验结果表明:与修正线性单元相比,Tanh ReLU建立的深层神经网络得到了更好的分类结果,实现了提高深层神经网络分类性能的目的。

基于SwinT-YOLOX模型的自动扶梯行人安全检测算法

自动扶梯被广泛应用在公共场合,乘客摔倒事故如果不能被及时发现并处理,会造成严重的人身伤害,因此实现自动扶梯智能化监控管理势在必行。受自动扶梯运行环境复杂、行人多以及局部遮挡情况的影响,传统的人体姿态特征摔倒检测模型效果不佳且检测速度减慢。融合Swin Transformer和YOLOX目标检测算法的优秀策略,提出一种基于SwinT-YOLOX网络模型的自动扶梯行人摔倒检测算法。采用Swin Transformer模型作为骨干网络,颈部网络使用添加注意力机制的YOLOX模型,进一步提升特征图的多样性和表达能力。此外,利用漏斗修正线性单元视觉激活函数构建CBF模块,改进颈部网络和Head网络结构,从而获得更优的特征检测性能。实验结果表明,针对自建扶梯行人摔倒数据库和网络采集实际扶梯行人摔倒事故,与AlphaPose、OpenPose、YOLOv5等算法相比,该算法检测性能明显提高,行人摔倒平均检测精度可以达到95.92%,检测帧率为24.08帧/s,能够快速、精准地检测到乘客摔倒事故发生,监控管理平台立刻采取安全急停措施以保证乘客安全。

一种新的深度卷积神经网络的SLU函数

修正线性单元(rectified linear unit,ReLU)是深度卷积神经网络常用的激活函数,但当输入为负数时,ReLU的输出为零,造成了零梯度问题;且当输入为正数时,ReLU的输出保持输入不变,使得ReLU函数的平均值恒大于零,引起了偏移现象,从而限制了深度卷积神经网络的学习速率和学习效果.针对ReLU函数的零梯度问题和偏移现象,根据"输出均值接近零的激活函数能够提升神经网络学习性能"原理对其进行改进,提出SLU(softplus linear unit)函数.首先,对负数输入部分进行softplus处理,使得负数输入时SLU函数的输出为负,从而输出平均值更接近于零,减缓了偏移现象;其次,为保证梯度平稳,对SLU的参数进行约束,并固定正数部分的参数;最后,根据SLU对正数部分的处理调整负数部分的参数,确保激活函数在零点处连续可导,信息得以双向传播.设计深度自编码模型在数据集MINST上进行无监督学习,设计网中网卷积神经网络模型在数据集CIFAR-10上进行监督学习.实验结果表明,与ReLU及其相关改进单元相比,基于SLU函数的神经网络模型具有更好的特征学习能力和更高的学习精度.

绝对值激活深度神经网络的串联故障电弧检测

串联故障电弧具有隐蔽性和随机性,发生时线路电流波形受负载类型的影响而具有复杂性,检测难度大,严重威胁用电系统安全。鉴于电流数据具有大量负值的特点,提出用绝对值函数作为激活函数改进AlexNet深度学习网络检测串联故障电弧,并分析了激活函数特性对串联故障电弧检测效果的影响。把实验采集的三类负载分别在正常和发生串联故障电弧状态下的共7200组电流数据制作成训练集和测试集,并分别对使用四种激活函数的AlexNet网络进行训练和测试。实验结果显示,ELU激活的网络最高检测正确率为95.5%;而绝对值激活的网络效果最好,其平均检测正确率最高为97.25%,最低为93%,比ReLU激活的AlexNet网络最高88.75%的平均准确率高出最少4.25个百分点;而使用Sigmoid函数的网络不收敛。分析结果表明线性的激活数据特征有助于提高网络的检测准确率。

专用DSP中的特殊运算单元的设计及实现

介绍了一种称为GDSP的针对多协议处理的16位定点专用DSP,它具有一条指令完成取双操作数、运算及结果写回memory的特点,针对算法特点设计的三角函数运算单元CDC、二进制对数/指数运算的算法改进及VLSI实现的对数运算单元LOG和指数运算单元ANTILOG,能快速精确的完成三角函数和对数/指数的求解。该DSP系统在保证精度的同时,具有强大的运算能力。

基于频谱增强和卷积宽度学习的音乐流派分类

针对频谱图对于音乐特征挖掘较弱、深度学习分类模型复杂且训练时间长的问题,设计了一种基于频谱增强和卷积宽度学习(CNNBLS)的音乐流派分类模型.该模型首先通过SpecAugment中随机屏蔽部分频率信道的方法增强梅尔频谱图,再将切割后的梅尔频谱图作为CNNBLS的输入,同时将指数线性单元函数(ELU)融合进CNNBLS的卷积层,以增强其分类精度.相较于其他机器学习网络框架,CNNBLS能用少量的训练时间获得较高的分类精度.此外,CNNBLS可以对增量数据进行快速学习.实验结果表明:无增量模型CNNBLS在训练400首音乐数据可获得90.06%的分类准确率,增量模型Incremental-CNNBLS在增加400首训练数据后可达91.53%的分类准确率.

基于通道特征聚合的行人重识别算法

在基于深度学习的行人重识别算法中,通道特征易被忽视而导致模型表达能力降低。为此,以ResNeSt50为骨干网络,借鉴SENet通道注意力特点在残差块末尾接入SE block,增强网络对通道特征的提取能力;针对ReLU函数因缺少控制因子而限制不同通道特征图对激活值的准确响应问题,引入一个动态学习因子来丰富通道特征权重信息,以形成新的加权激活函数Weighted ReLU(WReLU);基于分组卷积特征图局部而设计新的激活函数Leaky Weighted ReLU(LWReLU),有效提高不同位置的深度特征表达能力;在Split-Attention和SE block中应用LWReLU,改善Split-Attention对各组特征图的权重学习能力;利用circle loss改进损失函数,优化目标收敛过程,从而提高模型精度。实验结果表明:在CUHK03-NP、Market1501和DukeMTMC-ReID数据集上,所提方法的Rank-1比原骨干网络分别提高了19.08%、0.98%、2.02%,且其mAP比原骨干网络分别提高了17.13%、2.11%、2.56%。

改进残差网络的海水养殖鱼类识别与分类研究

为了满足海水养殖行业不断提高的智能化需求,对海洋鱼类的识别和分类算法进行研究。采用多重残差网络进行鱼类识别及分类,不仅降低计算复杂度,同时加快了残差网络的学习速度;引入指数线性单元(ELU)改进网络的标准残差模块,对输入的负激活值部分进行非线性变化,其参数可通过卷积训练进行自适应学习,同时保持正激活值部分不变,解决了传统残差模块中ReLU层将包含有用信息的负激活值完全丢弃的问题,以降低梯度消失的概率。在海洋鱼类识别与分类的多次实验中,改进的残差网络准确率均不低于95.48%,表明改进算法拥有较高的识别准确率和良好的稳定性。

基于侧链连接卷积神经网络的手掌静脉图像识别

针对手掌静脉图像数量少且质量参差不齐,进而导致掌脉识别系统的性能降低的现象,提出一种基于侧链连接卷积神经网络的手掌静脉图像识别方法。首先,在ResNet模型的基础上,用卷积层和池化层提取掌脉特征。然后,采用指数线性单元(ELU)激活函数、批归一化(BN)和Dropout技术来改进和优化模型,以缓解梯度消失、防止过拟合、加快收敛及增强模型泛化能力。最后,引入稠密连接网络(DenseNet),使提取到的手掌静脉特征更具丰富性和有效性。在两个公开库和一个自建库上分别进行实验,结果表明所提方法在三个数据库上的识别率分别为99.98%、97.95%、97.96%。可见该方法能有效提高掌脉识别系统的性能,且更适用于掌脉识别的实际应用。

基于深度学习的图像拼接篡改检测

传统图像拼接检测算法通过研究人员手动构造拼接特征,随着科技的进步以及图像处理技术的不断发展,手动构造特征的局限性逐渐体现出来,鲁棒性较弱,位置不易确定等。为了解决这些问题,构建了一种卷积神经网络(CNN),将卷积核前置并固定,自主学习相关特征从而检测拼接篡改的图像区域。经过一系列研究,发现拼接篡改图像的拼接篡改区域特征可以被CNN模型学习。在CNN模型之前,卷积核使用高通滤波器,激活函数采用指数线性单元(ELU),使得CNN模型具有识别拼接篡改图像边缘痕迹等特征的能力。检测结果表明:在IEEE IFS-TC图像拼接取证竞赛训练集上对拼接篡改图像拼接篡改区域定位的准确率为84.3%,对拼接篡改区域判定的真负类率为96.18%。

基于轻量级网络的实时人脸识别算法研究

为了在嵌入式和移动设备上实现高精度的实时人脸识别,对常见的网络在人脸识别方面的优缺点进行了分析,提出了一种高效的深度卷积神经网络模型Lightfacenet。在网络中结合深度可分离卷积、逐点卷积、瓶颈结构和挤压与激励结构提出了轻量化神经网络单元,使网络在保证有一定准确率的情况下有效地解决深层的神经网络带来的参数冗余和计算量大的问题,再通过改进的非线性激活函数进一步提高网络的准确性。该神经网络在保留卷积神经网络部分优点的同时也很好地平衡了网络的缺点。在同样的实验环境下,Lightfacenet网络既实现了非常高的识别精度,也在模型推理速度上达到实时的效果。在使用MS-Celeb-1M数据集训练后,该模型在LFW数据集上达到了99.50%的准确率,其效果已经可以与现在的大型卷积神经网络媲美。对于面部识别,Lightfacenet比目前最先进的移动卷积神经网络在保证准确率的情况下提高了效率。

基于YOLOv5的舰船目标及关键部位检测算法

为进一步提升对可见光图像中水面舰船目标的检测识别成功率,提出一种基于YOLOv5的舰船目标识别算法。使用基于随机池化方法的空间金字塔池化网络,运用双向特征金字塔网络进行多尺度特征融合,采用指数线性单元函数作为激活函数加快网络训练收敛速度,提升算法鲁棒性,从而实现了对水面舰船目标和舰船关键部位的快速准确识别。通过在舰船目标及其关键部位数据集上实验验证,对比多个经典目标检测方法,在识别准确率上均有不同程度提升,对比原YOLOv5s模型,平均精度均值提升3.03%,速度提升2 FPS,模型保持了YOLOv5轻量化的特点,在应用部署上有良好前景。

基于改进Yolov5s的光刻热点检测算法

光刻热点检测是实现集成电路可制造性设计,保障集成电路芯片最终良率的关键。鉴于传统基于深度学习的光刻热点检测方法难以满足先进集成电路制造对检测精度的要求,提出了一种基于改进Yolov5s的检测算法,用于光刻版图热点缺陷的精确检测。通过将坐标注意力机制引入骨干网络,提高了Yolov5s模型对版图图形区域的关注度,进而极大地改善了基于Yolov5s的检测算法的光刻热点检测性能。与此同时,采用Sigmoid线性单元激活函数进一步完善整个神经网络的非线性表达,利用Scylla交并比损失函数更快速地定量评估边界框回归损失,提高了热点检测算法的收敛速度和精度。将ICCAD(The International Conference on Computer-Aided Design)2012竞赛基准、经光学邻近校正优化后的光刻图形作为数据集对所提算法开展性能测试实验,验证了热点检测算法的优异检测精度。实验结果表明,该算法的平均准确率、平均召回率、平均F1-score和均值平均精度分别达到97.7%、98.0%、97.8%和98.4%,显著优于其他光刻热点检测算法,展示了良好的应用前景。

基于K近邻卷积神经网络的点云模型识别与分类

为了进一步提高大规模多种类点云模型识别与分类的准确率,提出了一种K近邻卷积神经网络模型。首先,利用最远点采样算法对点云模型均匀采样;其次,对采样后的点云模型用K近邻算法构建每个点的局部邻域,为防止信息的非局部扩散,对卷积层提取的特征也逐个建立局部邻域;然后,通过最大池化聚合所有局部特征得到点云模型的全局特征表示;最后,用全连接层与Softmax函数计算各类别对应的概率并分类。实验结果表明,本算法在公开数据集ModelNet40上的识别准确率为92%。与已有的点云模型识别与分类算法相比,能更有效地融合局部结构特征,提高点云模型识别与分类的准确率。