基于YOLOv4的小目标检测方法研究及应用

为解决复杂施工场景下的小目标检测效果不佳和漏检问题,提出一种基于YOLOv4的改进算法。在检测网络中设计多尺度CAU和SAU上下文特征融合机制,利用全新的特征融合方式增强网络多尺度空间和通道信息表征,在此基础上改善网络特征融合性能。设计CSP_F跨阶段特征融合模块代替原有普通卷积块(CBL*5),防止检测网络梯度消失和网络参数计算量过大。改进模型类别损失函数并进行实验验证,其结果表明,改进算法能满足不同场景检测要求,对小目标有较好检测效果。

基于MobileNet和NAM注意力机制的轻量级OpenPose网络

针对深度学习下的人体姿态识别技术,分析了OpenPose网络参数量巨大,容易产生梯度消失;MobileNet网络识别准确率较低等问题,研究了人体姿态识别、卷积神经网络以及注意力机制的工作原理。分析了OpenPose模型、ShuffleNet模型、GhostNet模型、MobileNet模型的卷积神经网络模型和NAM注意力机制的各自特点,提出了基于MobileNet网络和NAM注意力机制的人体姿态识别技术,解决了OpenPose网络参数量大运算和速率较低,MobileNet网络识别准确率较低等问题,通过实验对比识别准确率和识别速率,结果表明添加了NAM注意力机制的MobileNet网络具有识别精度高,识别速率快等特点。

基于ABiGRU的铣刀磨损监测方法研究

为了准确监测铣削加工过程中刀具磨损程度,提出了一种基于双向门控循环神经网络融合注意力机制(ABiGRU)的刀具磨损监测模型。在该监测模型中,通过对振动、力和声发射传感器采集到的时序数据进行时域、频域和时频域分析,使用spearman相关系数提取与后刀面平均磨损量强相关的20维特征。引入ELU激活函数来优化BiGRU网络,解决梯度消失问题;利用内部注意力机制提升模型对于重要特征信息的捕捉能力,快速实现从特征到刀具磨损值的映射。通过与RNN、LSTM、GRU、BiLSTM和BiGRU进行的对比分析,结果表明:该模型能够准确地表征刀具磨损程度,并使模型的精度和效率得到了较大的提高。

多尺度特征融合的双判别器残差生成对抗网络

生成对抗网络(generative adversarial networks, GANs)作为一类基于深度学习的无监督生成模型,无需对数据分布进行建模便可以生成真实且质量较高的图像。标准的GANs往往训练困难,常出现梯度消失、梯度爆炸或者模式崩溃等问题,限制模型的性能。为解决模式崩溃问题,本文提出一种双判别器结构来提高模型生成图像的多样性。另外,本文改进了生成器模型和判别器模型,提出一种基于残差网络和多尺度特征融合的生成器和基于多尺度特征融合的判别器,在提高生成图像质量的前提下解决深层网络出现的梯度消失、梯度爆炸的问题。将其应用于MNIST、LSUN、CelebA数据集上,训练结果稳定且生成图像质量较高,取得了令人满意的FID和IS值。

改进的深度置信网络在电主轴故障诊断中的应用

针对加工中心电主轴中滚动轴承等零部件容易出现故障或者失效等问题,即提出一种改进的DBN(深度置信网络)电主轴故障诊断方法。该方法对电主轴中滚动轴承运行故障状态下的振动信号进行特征提取,然后通过DBN映射出信号与故障特征的复杂关系来进行故障诊断。其中为提高训练DBN的效率以及解决在反向传播过程中梯度消失的问题,提出一种新型激活函数。研究结果表明,采用新型激活函数的DBN不仅降低了时间成本,同时也具有较高的故障识别的能力。

基于深度残差网络的人脸关键点检测

为了解决神经网络结构加深导致的梯度消失问题,本文提出一种将残差块应用于神经网络中的深度残差网络,使神经网络能更好地应用于人脸关键点检测.该深度残差网络共包含18层,残差块将网络的输出上叠加了y=x的恒等映射层,此方法可以使网络在深度增加的同时不退化.实验使用源自YouTube Faces的数据集进行68个人脸关键点检测,将使用残差块的网络与不使用残差块的网络进行比较,结果显示使用残差块的网络能够更快地收敛,并且提升了关键点检测精度.

一种基于改进Softplus激活函数的卷积神经网络模型

为提高Softplus函数在神经网络中的性能,针对Softplus函数的缺点提出了一种基于改进Softplus激活函数的卷积神经网络模型。根据“输出均值接近零的激活函数可以提升神经网络的学习性能”原理,首先对原函数的输出向下平移缓解Softplus激活函数的均值偏移现象;然后对调整后的输出乘以一个参数调整函数在正数部份的坡度和负数部分的饱和点位置,以缓解在训练过程中出现的梯度消失/溢出现象。最后在MNIST、CIFAR-10和CIFAR-100数据集上的实验结果表明,同其它常用激活函数相比,改进后的Softplus函数取得了较好的识别率。

基于残差时空图神经网络的电力系统暂态稳定评估

针对传统数据驱动方法在用于电力系统暂态稳定评估时,由于未考虑到系统的时空变化特性而导致泛化能力不强的问题,提出了一种引入注意力机制的残差时空图神经网络方法。将电力系统的网络拓扑结构与电力系统量测数据相结合,引入时间注意力和空间注意力机制,从而提高了模型的泛化能力。为了解决训练过程中存在的梯度消失问题,引入残差结构,同时加快了训练速度。以10机39节点系统为算例进行仿真验证,结果表明,该模型能在部分节点未配置同步相量测量单元的情况下获得较好的评估结果;通过适当选取故障时刻采样数据,可以进一步提高模型的评估性能。

基于2D DenseU-net的核磁共振海马体分割

针对深层U-net网络易出现梯度消失以及存在特征重用率低的问题,本文提出一种2D DenseU-net海马体分割算法框架,融合了DenseNet和U-net两种网络结构。通过在U-net中构建当前层与前面所有层的密集连接,有效缓解了深层U-net易出现梯度消失的问题,并加强了特征传播与特征复用;DenseU-net在发挥密集连接优势的同时,保持了U-net网络中下采样和上采样的长连接结构,有助于保存浅层信息。此外,针对海马体存在比例少、体积小、边缘不清晰等特点,本文对数据样本依次进行正样本数据增强、尺寸均等剪切以及去除无效样本、边缘采样的特殊处理,有效解决了正负样本失衡问题并强化了海马体细节信息,保证获取完整的特征用于网络训练。在公开数据集ADNI(Alzheimer's Disease Neuroimaging Initiative)上的实验结果表明,本文方法能够达到92.63%的平均分割Dice精度,优于传统的海马体分割方法以及目前流行的一些基于深度学习的海马体分割模型。

生成对抗网络研究综述

自生成对抗网络GAN提出以后,现这一方向已成为人工智能方向的研究热点. GAN的思想采用二人零和博弈方法,由生成器和判别器构成,生成器负责生成样本分布,判别器则判别输入是真实样本还是生成样本,生成器和判别器不断交互优化,最终达到最优效果. GAN模型的提出无疑是很新颖的,但也存在很多缺点,比如梯度消失问题、模式崩溃等.随着研究的深入, GAN不断优化扩展, GAN的衍生模型也层出不穷. GAN可应用于不同领域,主要为计算机图像和视觉领域,在图像领域有着突出的效果,能生成高分辨率逼真的图像,能对图像进行修复、风格迁移等,也能生成视频并进行预测等. GAN也能生成文本,可以进行对话生成、机器翻译、语音生成等.同时,GAN在其他领域也有涉及,比如生成音乐、密码破译等.但是GAN在其他领域的应用效果并不显著,那么,如何提高GAN在其他领域的应用效果将值得深入研究,使生成对抗网络在人工智能方面大放异彩.

基于多尺度级联网络的水下图像增强方法

针对水下图像由于光吸收、后向散射等因素导致的严重色偏、细节丢失等问题,该文提出一种基于多尺度级联网络的水下图像增强方法。针对单一网络特征利用不全面导致的图像梯度消失问题,该方法通过级联多尺度原始图像与相应的特征图像,以获得更优异的细节保持效果,并实现从较浅层到较深层快速预测残差的能力。此外,引入联合密集网络块和递归块,通过特征重用有效解决多尺度网络参数过多的问题。为有效解决单一损失造成的图像细节恢复不均的问题,提出Charbonnier和结构相似度(SSIM)联合损失函数。经仿真实验分析,所提网络在处理水下图像严重色偏、细节丢失等方面都取得了显著的效果。

关于公路隧道内目标图像实时检测仿真

对公路隧道内的车辆和行人等目标进行实时检测,可以有效减少隧道安全事故。传统的检测方法主要是采用背景建模分割目标,采集图像特征对目标进行分类,对目标适应性较差且检测效果不佳。针对传统方法对环境适应性差以及目标召回率、准确率低等问题,将神经网络的浅层高分辨率低语义特征、中间层的补充语义特征和高层的高语义特征进行融合,提出一种三重信息融合的卷积神经网络隧道多类目标检测算法。在Faster R-CNN的基础上分别建立了ZFNet、VGGNet和Res Net三种网络改进前后的检测模型,并对数据进行了预处理与统一训练。结果表明:三重信息融合后的网络中仅Res Net克服了神经网络自身的梯度消失问题,实现了召回率与准确率的同步提升。

卷积神经网络中SPReLU激活函数的优化研究

由于激活函数本身的特性,使得卷积神经网络出现了梯度消失、神经元死亡、均值偏移、稀疏表达能力差等问题,针对这些问题,将“S”型激活函数和ReLU系激活函数进行了对比,分别讨论其优点和不足,并结合ReLU、PReLU和Softplus三种激活函数优点,提出了一种新型激活函数SPReLU。实验结果表明,SPReLU函数在性能上优于其他激活函数,收敛速度快,能有效降低训练误差,缓解梯度消失和神经元死亡等问题,能够有效地提高文本分类模型的准确性。

基于深度残差网络的图像混合噪声去除

深度卷积神经网络的提出引发了图像处理算法的一系列突破。但是,使用更深入的网络并不总是有帮助,训练它们的巨大障碍是逐渐消失的梯度、大量增长的参数和过长的时间。本文提出了一种基于深度残差网络的图像混合噪声去除算法。通过全局残差学习与局部残差学习,有效地解决了梯度消失与网络参数的增长,提升了模型对图像特征的选择与提取能力,减少了训练时间。实验结果表明,深度残差网络在图像混合噪声去除中效果显著,本文提出的算法得到的去噪图像更好地恢复图像的原始结构,信息丰富,对比度高,鲁棒性强,并且可以更好地保持图像的细节。

生成对抗网络GAN综述

生成对抗网络(GAN)作为一种新的无监督学习算法框架得到越来越多研究者的青睐,已然成为当下的一个研究热点。GAN受启发于博弈论中的二人零和博弈理论,其独特的对抗训练思想能生成高质量的样本,具有比传统机器学习算法更加强大的特征学习和特征表达能力。目前GAN在计算机视觉领域尤其是在样本生成领域取得显著成功,每年有大量GAN相关研究的论文产出。针对GAN这一热点模型,首先介绍了GAN的研究现状;接着介绍了GAN的理论、框架,详细分析了GAN在训练过程中存在梯度消失和模式崩溃的原因;然后讨论了一些典型的GAN的改进模型,总结了它们理论的改进之处、优点、局限性、应用场景以及实现成本,同时还将GAN与VAE、RBM模型进行比较,总结出GAN的优势和劣势;最后展示了GAN在数据生成、图像超分辨率、图像风格转换等方面的应用成果,并探讨了GAN目前面临的挑战以及未来的研究方向。

基于卷积神经网络的手写数字图像识别方法

本文使用深度神经网络算法对手写数字图像进行分类识别.该算法利用20个卷积层提取手写数字图像的特征向量,特征向量经过ReLU激活函数后被20个池化层进一步降低向量维度,最后通过softmax激活函数输出.结果表明,训练数据8000以上时识别率会超过90%,训练次数8次以上识别率高于96%.结论:采用整流线性单元函数作为激活函数,有效解决了梯度消失问题和过拟合问题.

基于Dopout与ADAM优化器的改进CNN算法

在分析当前卷积神经网络模型特征提取过程中存在问题的基础上,提出了基于Dropout与ADAM优化器的改进卷积神经网络算法（MCNN-DA）.设计了二次卷积神经网络结构,通过引入基于Re LU的激活函数以避免梯度消失问题,提高收敛速度;通过在全连接层和输出层之间加入Dropout层解决过拟合问题,并设计了ADAM优化器的最小化交叉熵.以MNIST和HCL2000数据集为测试数据,测试分析了ADAM优化器的不同学习率对算法性能的影响,得出当学习率处于0.04~0.08时,算法具有较好的识别性能.与三种算法的实验比较结果表明：本文算法的平均识别率最高可达99.21%;对于HCL2000测试集,本文算法的平均识别率比基于支持向量机优化的极速学习机算法提高了3.98%.

引入辅助损失的多场景车道线检测

目的为解决实时车辆驾驶中因物体遮挡、光照变化和阴影干扰等多场景环境影响造成的车道线检测实时性和准确性不佳的问题,提出一种引入辅助损失的车道线检测模型。方法该模型改进了有效的残差分解网络(effcient residual factorized network,ERFNet),在ERFNet的编码器之后加入车道预测分支和辅助训练分支,使得解码阶段与车道预测分支、辅助训练分支并列,并且在辅助训练分支的卷积层之后,利用双线性插值来匹配输入图像的分辨率,从而对4条车道线和图像背景进行分类。通过计算辅助损失,将辅助损失以一定的权重协同语义分割损失、车道预测损失进行反向传播,较好地解决了梯度消失问题。语义分割得到每条车道线的概率分布图,分别在每条车道线的概率分布图上按行找出概率大于特定阈值的最大点的坐标,并按一定规则选取相应的坐标点,形成拟合的车道线。结果经过在CULane公共数据集上实验测试,模型在正常场景的F1指标为91.85%,与空间卷积神经网络(spatial convolutional neural network,SCNN)模型相比,提高了1.25%,比其他场景分别提高了1%~7%;9种场景的F1平均值为73.76%,比目前最好的残差网络———101-自注意力蒸馏(ResNet-101-self attention distillation,R-101-SAD)模型(71.80%)高出1.96%。在单个GPU上测试,每幅图像的平均运行时间缩短至原来的1/13,模型的参数量减少至原来的1/10。与平均运行时间最短的车道线检测模型ENet———自注意力蒸馏(ENetself attention distillation,ENet-SAD)相比,单幅图像的平均运行时间减短了2.3 ms。结论在物体遮挡、光照变化、阴影干扰等多种复杂场景下,对于实时驾驶车辆而言,本文模型具有准确性高和实时性好等特点。

基于深度跳跃级联的图像超分辨率重建

针对模型VDSR(very deep super resolution)收敛速度慢,训练前需要对原始图像进行预处理,以及网络中存在的冗余性等问题,提出了一种基于深度跳跃级联的单幅图像超分辨率重建(DCSR)算法。DCSR算法省去了图像预处理,直接在低分辨率图像上提取浅层特征,并使用亚像素卷积对图像进行放大;通过使用跳跃级联块可以充分利用每个卷积层提取到图像特征,实现特征重用,减少网络的冗余性。网络的跳跃级联块可以直接从输出到每一层建立短连接,加快网络的收敛速度,缓解梯度消失问题。实验结果表明,在几种公开数据集上,所提算法的峰值信噪比、结构相似度值均高于现有的几种算法,充分证明了所提算法的出色性能。