一种基于三维残差网络分组膨胀卷积的人体行为识别方法

传统三维卷积神经网络随着网络层数的加深,参数量增多容易导致过拟合,且不能充分提取视频特征。本文以3D ResNet101网络为基础,建立了一种基于三维残差网络分组膨胀卷积(3D GD-ResNet)的人体行为识别方法,首先将视频帧图像输入到三维卷积神经网络中提取时间和空间维度的浅层信息,然后在GD-ResNet模块将三维残差块分成32组,减少模型参数量;同时在每个分组卷积中使用膨胀系数为3的膨胀卷积扩大感受野,以提取更深层的特征信息,最后通过softmax进行分类输出。在UCF101数据集上进行验证,人体行为识别准确率达到了88.4%,验证了本文方法的有效性。

基于分组残差结构的轻量级卷积神经网络设计

针对传统深度卷积神经网络参数数量过多,很难在移动设备上应用的问题,提出基于分组残差结构的轻量级卷积神经网络架构GResNets.利用三个卷积层的瓶颈结构将上层输出特征图分为数量相等的四组,根据组内的瓶颈模块加入恒等映射的方式和组外相邻模块是否加入残差学习,设计了三种轻量级卷积神经网络架构.试验阶段,在Caltech-256,Food-101和GTSRB图像分类数据集上评测了三种网络架构的性能.实验结果表明,与传统深度卷积神经网络相比,GResNets能在网络参数较少的情况下,具有同样、甚至更优越的分类性能,适合在移动设备上应用.

基于膨胀卷积残差网络的服装图像检索

针对传统的特征提取方法不能有效提取服装图像的语义特征和相似度计算泛化能力差的问题,提出一种基于膨胀卷积残差网络(Dilated Convolutional Residual Networks,DCRN)的服装图像检索方法。将膨胀卷积大尺寸感受野的优势和残差网络提取语义特征的优势结合,有效提取服装图像的特征;提出一种混合距离度量算法(Mixed Distance measurement algorithm,MD),通过计算余弦距离和马氏距离之和进行度量学习,从而稳定高效地计算特征向量的空间距离。实验表明DCRN方法能有效提取服装浅层的细节信息和深层的语义信息;在服装检索上,DCRN+MD方法的准确率较FashionNet方法有明显提升。

密度导向的点云动态图卷积网络

针对现有主流网络对于点云局部特征提取的能力不足,以及在特征提取过程中未考虑点云密度的问题,提出一种密度导向的点云动态图卷积网络.首先提出点云局部密度指数的概念,衡量点及其邻域点在相应的空间位置中的密集程度;然后利用局部密度指数动态赋予每个点一个膨胀因子,提出密度导向的动态点分组方法对点云构建局部图结构,对每个局部图结构构造动态边缘卷积模块进行特征的提取与聚合,既提取了点云的几何特征,又实现了置换不变性;最后采用残差网络的思想优化图神经网络的过平滑问题.实验结果表明,在分类数据集ModelNet40与ScanObjectNN上,所提网络的分类准确率分别为93.5%和82.2%;在分割数据集ShapeNet与S3DIS上,该网络的平均交并比分别为85.6%和60.4%,均高于DGCNN等主流网络;所提网络在多项任务中的精度都得到显著提升,且在处理密度不均的点云时有较好的鲁棒性,验证了所提算法的可行性与有效性.

基于空谱分组卷积密集网络的高光谱图像分类

针对高光谱图像分类在特征提取过程中高分辨率信息丢失,导致分类精度下降的问题,提出一种基于空谱分组卷积密集网络的高光谱图像分类方法。设计光谱-空间三维分组卷积密集模块,对光谱与空间特征进行分步提取,利用分组卷积构造的密集网络能减少数据固有信息冗余,使高分辨率的特征进行重用,避免细节特征信息丢失;设计光谱残差注意力模块,该模块通过结合空-谱特征计算注意力权重,对提取到的光谱特征进行权重重分配,对光谱信息富有的区域进行增强。实验结果表明,相比于若干最优的深度网络方法,所提高光谱图像分类方法具有更好的分类性能。

基于注意力改进残差网络结构的表情识别方法

针对目前CNN在复杂图像中特征提取不充分的问题,提出一种基于注意力的改进残差网络的表情识别网络。设计一个双流网络在完成粗特征表情识别的同时检测关键点,并使用注意力机制增大关键点周边特征的权重。随后以残差网络为基础模型,改进残差块之间的跳跃连接方式,并将残差块中的普通卷积改进为分组卷积来强化特征提取能力。最后联合两个表情识别网络进行分类,实验结果验证了该模型方案有着更卓越的性能。

基于分组空洞残差网络的非侵入式负荷分解

针对当前深度学习在非侵入式负荷分解应用中准确率低、易梯度消失、对使用频率较低的电器分解误差大等问题,提出一种分组空洞残差网络。进行滑动处理增加样本数量后,一方面基于残差网络提取深层负荷特征,降低网络优化难度,解决梯度消失问题;另一方面通过空洞卷积增大感受野,捕获更多数据,解决长时序数据较难学习的问题。实验结果表明,该模型比现有方法分解准确率更高,对使用频率较低的电器分解鲁棒性更好,对实现准确非侵入负荷分解有重要意义。

基于时序卷积网络与线性残差连接的光伏发电功率预测

针对传统神经网络对于多元发电过程数据处理效率低、且容易过拟合的缺陷,提出了一种基于时序卷积网络(TCN)与线性残差连接的光伏功率预测方法。构建时序卷积网络,通过因果卷积与膨胀卷积技巧并行地提取多个时间点间的动态关系,从而在提取非线性时序相关性的同时保持较高的运算效率。引入线性残差连接构建了网络模型输入端与输出端的信息通路,有效地避免了过拟合。以某光伏电站实测数据对所提出方法进行性能验证,所提出的模型的预测结果的均方误差、均方根误差以及平均绝对误差分别为22.63、4.79、2.47,预测性能好于传统方法。

改进残差神经网络在遥感图像分类中的应用

针对传统卷积神经网络随着深度加深而导致网络退化以及计算量大等问题,提出一种改进残差神经网络的遥感图像场景分类方法。该方法以残差网络ResNet50作为主框架,在残差结构中引入深度可分离卷积和分组卷积,减少了网络的参数量和计算量,加快模型收敛的同时也提升了分类精度。此外在网络中嵌入多尺度squeeze and excitation block模块对通道特征进行重校准,提取出更加重要的特征信息,进一步提升了网络的分类性能。在航空图像数据集(aerial image dataset,AID)和UCMerced_Land Use两个公开数据集上的分类精度分别为91.92%和93.52%,相比常规残差网络分类精度分别提高了3.38%和10.24%,证明所提方法在遥感图像场景分类任务中的可行性和有效性。

基于时间卷积网络的极化码译码算法

针对传统的极化码译码(SC译码)算法实际应用中的用时较长和容错率较差的问题,提出并使用新型人工神经网络——时间卷积网络(temporal convolutional network,TCN)拟合的方式搭建极化码译码模型。与其他人工神经网络不同的是,时间卷积网络属于卷积神经网络(convolutional neural network,CNN),和循环神经网络(recurrent neural network,RNN)的功能相似,其独有的膨胀因果卷积结构和残差链接方法使其擅于分析时间数据,比长短期记忆网络(long short-term memory,LSTM)、门控循环神经网络(gated recurrent units,GRU)之类的规范循环网络更准确、更简单、更清晰,比较适合极化码这样的时间序列。通过调试网络模型参数的方式,对时间卷积网络译码性能影响进行了研究,仿真结果显示,通过合理地调整训练序列数、卷积核的大小和数目可以实现提升极化码译码性能的要求。

利用模块化残差网络的图像隐写分析

为了提高图像隐写分析方法对小嵌入率隐写术检测的准确性,针对小嵌入率隐写术提出一种基于高度模块化网络结构的图像隐写分析方法。首先,通过重复残差网络单元来构建基础网络模型,以提取数字图像中的复杂统计特性;其次,增加分组卷积以提取残差图像通道信息,加强来自隐写信息的信号特征;最后,利用大量数据集对网络进行训练,得到了基于模块化残差网络的图像隐写分析方法。实验结果表明,所提方法相较于现有算法可以提取更有效的图像特征,从而得到更好的检测效果。同时,利用残差网络块作为模板,可以很容易地搭建网络模型,便于网络的调整和训练。

基于时间卷积网络的刀具磨损在线监测

在刀具磨损监测领域中,传统卷积神经网络难以选择合适的卷积核大小,循环神经网络容易发生梯度消失和梯度爆炸,为克服以上缺点,引入时间卷积网络构建在线监测模型对刀具磨损量进行监测。考虑到原始数据量过大且每次走刀过程所采集数据量不同,对数据进行降采样处理,获得了大小为(7,5000)的网络输入数据。通过一维卷积神经网络和时间卷积块的依次叠加,对数据进行特征提取,使用全连接网络将特征映射到刀具磨损值。最后,使用PHM大赛中铣刀磨损的数据验证了模型的效果。实验结果证明,基于时间卷积网络的刀具磨损在线监测模型具有较强的泛化能力,在验证集上均方误差和平均绝对误差分别仅为65.16与6.21,相较于隐马尔科夫、梯度提升树等模型具有较大的提升。

基于改进深度残差收缩网络的轴承故障诊断

为解决噪声背景中轴承故障诊断精度不高的问题,提出了一种新的轴承故障诊断方法。利用连续小波变换将采集到的振动信号转换成小波时频图,采用多尺度膨胀卷积对深度残差收缩网络进行改进,扩大卷积核的感受野,并将交叉熵损失函数改进成加权交叉熵损失函数。实验结果表明,与其他深度学习算法相比,本算法故障诊断的准确率较高。

基于深度时序卷积网络的功率放大器行为建模方法

功率放大器作为辐射源发射机的核心部件,其工作行为具有高非线性、强记忆性等特点,导致功率放大器的行为建模难度颇高。针对该问题,文中提出了一种基于深度时序卷积网络的功率放大器行为建模方法。该方法采用的神经网络模型由多个多维时序卷积块构成,每个时序卷积块由数个用于增加网络感受野的因果膨胀卷积以及用于提高梯度反馈效率的残差结构组成。模型通过并行卷积操作,克服了传统卷积网络无法处理可变长序列的弊端,在保留功率放大器记忆特性的同时,提高了行为建模的效率。针对实测数据的行为建模结果表明,相比于现有的Volterra级数以及循环神经网络建模方法,文中提出的方法可显著提升行为建模精度,且在行为建模效率方面,相较于循环神经网络建模方法,将实现时间降低了一个数量级。

多尺度特征融合的膨胀卷积残差网络高分一号影像道路提取

针对全卷积神经网络多次下采样操作导致的道路边缘细节信息损失和道路提取不准确的问题,本文提出了多尺度特征融合的膨胀卷积残差网络高分一号影像道路提取方法。首先,通过目视解译的方法制作大量的道路提取标签数据;其次,在残差网络ResNet-101的各个残差块中引入膨胀卷积和多尺度特征感知模块,扩大特征点的感受野,避免特征图分辨率减小和道路边缘细节特征的损失;然后,通过叠加融合和上采样操作将各个尺寸的道路特征图进行融合,得到原始分辨率大小的特征图;最后,将特征图输入Sigmoid分类器中进行分类。实验结果表明:本文方法的提取精度优于经典全卷积神经网络模型,准确率达到了98%以上,有效保留了道路的完整性及其边缘的细节信息。

深度学习在分组密码差分区分器上的研究应用

差分分析在分组密码分析领域是一种重要的研究方法,针对分组密码的差分分析的重点在于找到一个轮数或者概率更大的差分区分器.首先描述了通过深度学习技术构造差分区分器时所需要的数据集的构造方法,并且分别基于卷积神经网络(convolutional neural networks,CNN)和残差神经网络(residual neural network,ResNet)训练了两种轻量级分组密码算法SIMON32与SPECK32的差分区分器,并对两种模型得到的差分区分器进行了比较,发现综合考虑时间花销与精度的前提下,在SIMON32的差分区分器构造上,ResNet训练得到的模型表现更好,而CNN则在SPECK32的模型训练上表现的更好;其次,研究了网络模型中卷积运算个数对模型精度的影响,发现在原有模型基础上增加CNN模型的卷积层数和ResNet模型的残差块数,都会导致模型精度的下降.最后,给出在进行基于深度学习的差分区分器构造时的模型及参数选择建议,即,应该首要考虑低卷积层数的CNN模型和低残差块数的ResNet模型.

基于改进FCN的肺炎图像分割方法

针对胸部X射线影像中肺炎病灶识别工作量大,结果不够精准等问题,提出一种基于改进FCN的肺炎病灶图像分割方法。首先,构建Pascal数据集格式的健康肺部影像和感染肺炎影像的数据集。其次,对比不同ResNet网络和传统VGG网络训练损失的收敛速度。然后使用效果最好的ResNet50网络代替经典FCN算法中VGG网络作为主干网络,并提出一种多尺度特征提取模块,最后将改进的FCN网络与传统FCN网络、LR-ASPP、DEEPLAB-V3进行对比,改进的FCN网络较其他方法得到了更好的效果。实验结果表明,改进的FCN网络可以精准分割胸部X射线中各种形状和大小的肺炎病灶,分割效果良好,可以为临床的肺炎诊断提供可靠依据。

基于SDP和DG-ResNet的齿轮箱轴承故障诊断研究

在复杂工况下,齿轮箱轴承运行会产生诸多故障,且各种故障之间相互影响,依靠传统的故障诊断方法难以满足高精度、智能化的故障分类要求,提出了一种结合对称点图像(SDP)算法技术和膨胀分组卷积残差网络(DG-ResNet)的齿轮箱轴承故障诊断方法。首先,将一维轴承振动信号数据通过SDP方法转化为二维图像,在不减少原始数据的前提下,图像可以清楚地显示出振动数据的原始特征;然后,将图像作为模型的输入,输入到DG-ResNet神经网络模型中,对图像进行了轴承故障特征的提取和分类,膨胀分组卷积残差块增加了卷积个数和感受野尺寸,可以让网络提取到高阶图像特征,实现了对轴承故障的高精度、智能化分类;最后,将该方法和多种经典卷积神经网络算法,进行了故障诊断准确率的对比。研究结果表明:与多种经典卷积神经网络算法相比,所提方法对轴承故障诊断的准确率远高于其他网络,诊断的平均准确率达到93%,该结果验证了所提方法的有效性;该方法能够对轴承故障进行高效分类,可以用于齿轮箱轴承的实际故障分类。

基于改进Faster R-CNN的水母检测与识别算法

提出一种基于改进Faster R-CNN水母检测与识别算法。首先,建立了包含7种水母的数据集;然后,针对ResNeXt(C=32)用于目标检测时出现计算量较大的问题,在保证精确度的前提下,将分支数C设置为8以降低计算量;最后,为解决水母检测时出现的检测精度低和小个体无法检测的问题,在残差网络中引入膨胀卷积。实验结果表明:该算法较VGG16、ResNet101、ResNeXt(C=32)和ResNeXt(C=8)方法,mAP值分别提高了3.15%、2.09%、3.01%和2.36%;F 1-score分别提高了2.53%、1.99%、2.01%和2.31%;loss损失函数收敛值更优,收敛精度趋近于0。P-R曲线、可视化效果分析和水母视频检测的结果证明:该算法的水母检测准确率和水母检测数量明显优于其他算法,检测精度较高,基本可以达到实时监测的要求。

基于R-D SSD模型航空发动机安装工位检测算法

为解决航空发动机在安装过程中大多实行人工安装、定位不精确等问题,在研究其自动化安装方法中,针对航空发动机安装工位的检测需求,提出了一种残差网络与膨胀卷积相融合的SSD改进算法(R-D SSD)。将经典SSD模型的主干网络VGG16替换为残差网络ResNet-101,并增加其输出特征图上的预选框数量,解决了原始算法对底层特征抓取能力不足的问题,进而弥补了对小目标检测效果较差的缺陷;利用膨胀卷积扩大网络的感受野,获取足够的安装工位边缘特征细节信息,在不改变网络结构的同时,保证了模型良好的实时性和对目标的检测精度。实验表明:对于小目标数据集和整个数据集,R-D SSD算法的平均检测精度较原始算法分别提高了8.6%和4.0%,可以满足航空发动机安装时平均检测精度不低于85%的要求。