基于双曲正切函数的修正线性单元

为解决修正线性单元(ReLU)的神经元死亡现象,提出一个新的激活函数——基于双曲正切函数(tanh)的修正线性单元(ThLU)。ThLU函数正半轴来自于ReLU函数的正半轴,负半轴来自于tanh函数的负半轴。为验证ThLU函数的性能,基于VggNet-16神经网络架构,分别在CIFAR-10和CIFAR-100数据集上进行了试验验证。结果表明:基于ThLU函数训练得到的神经网络模型比基于tanh、ReLU、泄露修正线性单元(LReLU)和指数线性单元(ELU)训练得到的神经网络模型具有更高的准确率、更低的损失。

基于频谱增强和卷积宽度学习的音乐流派分类

针对频谱图对于音乐特征挖掘较弱、深度学习分类模型复杂且训练时间长的问题,设计了一种基于频谱增强和卷积宽度学习(CNNBLS)的音乐流派分类模型.该模型首先通过SpecAugment中随机屏蔽部分频率信道的方法增强梅尔频谱图,再将切割后的梅尔频谱图作为CNNBLS的输入,同时将指数线性单元函数(ELU)融合进CNNBLS的卷积层,以增强其分类精度.相较于其他机器学习网络框架,CNNBLS能用少量的训练时间获得较高的分类精度.此外,CNNBLS可以对增量数据进行快速学习.实验结果表明:无增量模型CNNBLS在训练400首音乐数据可获得90.06%的分类准确率,增量模型Incremental-CNNBLS在增加400首训练数据后可达91.53%的分类准确率.

改进残差网络的海水养殖鱼类识别与分类研究

为了满足海水养殖行业不断提高的智能化需求,对海洋鱼类的识别和分类算法进行研究。采用多重残差网络进行鱼类识别及分类,不仅降低计算复杂度,同时加快了残差网络的学习速度;引入指数线性单元(ELU)改进网络的标准残差模块,对输入的负激活值部分进行非线性变化,其参数可通过卷积训练进行自适应学习,同时保持正激活值部分不变,解决了传统残差模块中ReLU层将包含有用信息的负激活值完全丢弃的问题,以降低梯度消失的概率。在海洋鱼类识别与分类的多次实验中,改进的残差网络准确率均不低于95.48%,表明改进算法拥有较高的识别准确率和良好的稳定性。

绝对值激活深度神经网络的串联故障电弧检测

串联故障电弧具有隐蔽性和随机性,发生时线路电流波形受负载类型的影响而具有复杂性,检测难度大,严重威胁用电系统安全。鉴于电流数据具有大量负值的特点,提出用绝对值函数作为激活函数改进AlexNet深度学习网络检测串联故障电弧,并分析了激活函数特性对串联故障电弧检测效果的影响。把实验采集的三类负载分别在正常和发生串联故障电弧状态下的共7200组电流数据制作成训练集和测试集,并分别对使用四种激活函数的AlexNet网络进行训练和测试。实验结果显示,ELU激活的网络最高检测正确率为95.5%;而绝对值激活的网络效果最好,其平均检测正确率最高为97.25%,最低为93%,比ReLU激活的AlexNet网络最高88.75%的平均准确率高出最少4.25个百分点;而使用Sigmoid函数的网络不收敛。分析结果表明线性的激活数据特征有助于提高网络的检测准确率。

基于深度学习的图像拼接篡改检测

传统图像拼接检测算法通过研究人员手动构造拼接特征,随着科技的进步以及图像处理技术的不断发展,手动构造特征的局限性逐渐体现出来,鲁棒性较弱,位置不易确定等。为了解决这些问题,构建了一种卷积神经网络(CNN),将卷积核前置并固定,自主学习相关特征从而检测拼接篡改的图像区域。经过一系列研究,发现拼接篡改图像的拼接篡改区域特征可以被CNN模型学习。在CNN模型之前,卷积核使用高通滤波器,激活函数采用指数线性单元(ELU),使得CNN模型具有识别拼接篡改图像边缘痕迹等特征的能力。检测结果表明:在IEEE IFS-TC图像拼接取证竞赛训练集上对拼接篡改图像拼接篡改区域定位的准确率为84.3%,对拼接篡改区域判定的真负类率为96.18%。

基于侧链连接卷积神经网络的手掌静脉图像识别

针对手掌静脉图像数量少且质量参差不齐,进而导致掌脉识别系统的性能降低的现象,提出一种基于侧链连接卷积神经网络的手掌静脉图像识别方法。首先,在ResNet模型的基础上,用卷积层和池化层提取掌脉特征。然后,采用指数线性单元(ELU)激活函数、批归一化(BN)和Dropout技术来改进和优化模型,以缓解梯度消失、防止过拟合、加快收敛及增强模型泛化能力。最后,引入稠密连接网络(DenseNet),使提取到的手掌静脉特征更具丰富性和有效性。在两个公开库和一个自建库上分别进行实验,结果表明所提方法在三个数据库上的识别率分别为99.98%、97.95%、97.96%。可见该方法能有效提高掌脉识别系统的性能,且更适用于掌脉识别的实际应用。

基于YOLOv5的舰船目标及关键部位检测算法

为进一步提升对可见光图像中水面舰船目标的检测识别成功率,提出一种基于YOLOv5的舰船目标识别算法。使用基于随机池化方法的空间金字塔池化网络,运用双向特征金字塔网络进行多尺度特征融合,采用指数线性单元函数作为激活函数加快网络训练收敛速度,提升算法鲁棒性,从而实现了对水面舰船目标和舰船关键部位的快速准确识别。通过在舰船目标及其关键部位数据集上实验验证,对比多个经典目标检测方法,在识别准确率上均有不同程度提升,对比原YOLOv5s模型,平均精度均值提升3.03%,速度提升2 FPS,模型保持了YOLOv5轻量化的特点,在应用部署上有良好前景。

基于K近邻卷积神经网络的点云模型识别与分类

为了进一步提高大规模多种类点云模型识别与分类的准确率,提出了一种K近邻卷积神经网络模型。首先,利用最远点采样算法对点云模型均匀采样;其次,对采样后的点云模型用K近邻算法构建每个点的局部邻域,为防止信息的非局部扩散,对卷积层提取的特征也逐个建立局部邻域;然后,通过最大池化聚合所有局部特征得到点云模型的全局特征表示;最后,用全连接层与Softmax函数计算各类别对应的概率并分类。实验结果表明,本算法在公开数据集ModelNet40上的识别准确率为92%。与已有的点云模型识别与分类算法相比,能更有效地融合局部结构特征,提高点云模型识别与分类的准确率。

基于提升深度迁移自动编码器的轴承智能故障诊断

实际工程中,含标注信息的轴承监测数据严重缺乏,这将导致其智能故障诊断模型难以有效构建。提出了一种基于提升深度迁移自动编码器的新方法用于不同机械设备间的轴承故障智能诊断。首先,采用可缩放指数型线性单元作为标准自动编码器的激活函数,提升原始振动数据的映射质量。然后,非负约束用于修正代价函数,进一步减少重构误差。其次,构建提升深度自动编码器并用充足可用的源域数据进行预训练,得到的参数作为目标模型的初始化参数。最后,目标域中仅有的一个训练样本用于目标模型的微调以适应剩余的测试样本。将所提方法用于分析不同轴承的试验振动数据,结果表明,所提方法能基于原始振动数据有效实现不同种机械设备间的迁移诊断。