基于Depth-wise卷积和视觉Transformer的图像分类模型

图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关系进行建模,一些研究者将Transformer应用于图像分类任务,但为了满足Transformer的序列化和并行化要求,需要将图像分割成大小相等、互不重叠的图像块,破坏了相邻图像数据块之间的局部信息。此外,由于Transformer具有较少的先验知识,模型往往需要在大规模数据集上进行预训练,因此计算复杂度较高。为了同时建模图像相邻块之间的局部信息并充分利用图像的全局信息,提出了一种基于Depth-wise卷积的视觉Transformer(Efficient Pyramid Vision Transformer,EPVT)模型。EPVT模型可以实现以较低的计算成本提取相邻图像块之间的局部和全局信息。EPVT模型主要包含3个关键组件:局部感知模块(Local Perceptron Module,LPM)、空间信息融合模块(Spatial Information Fusion,SIF)和“+卷积前馈神经网络(Convolution Feed-forward Network,CFFN)。LPM模块用于捕获图像的局部相关性;SIF模块用于融合相邻图像块之间的局部信息,并利用不同图像块之间的远距离依赖关系,提升模型的特征表达能力,使模型学习到输出特征在不同维度下的语义信息;CFFN模块用于编码位置信息和重塑张量。在图像分类数据集ImageNet-1K上,所提模型优于现有的同等规模的视觉Transformer分类模型,取得了82.6%的分类准确度,证明了该模型在大规模数据集上具有竞争力。

基于DenseNet和卷积注意力模块的高精度手势识别

非接触的手势识别是一种新型人机交互方式,在增强现实(AR)/虚拟现实(VR)、智能家居、智能医疗等方面有着广阔的应用前景,近年来成为一个研究热点。由于需要利用毫米波雷达进行更精确的微动手势识别,该文提出一种新型的基于MIMO毫米波雷达的微动手势识别方法。采用4片AWR1243雷达板级联而成的毫米波级联(MMWCAS)雷达采集手势回波,对手势回波进行时频分析,基于距离-多普勒(RD)图和3D点云检测出人手目标。通过数据预处理,提取手势目标的距离-时间谱图(RTM)、多普勒-时间谱图(DTM)、方位角-时间谱图(ATM)和俯仰角-时间谱图(ETM),更加全面地表征手势的运动特征,并形成混合特征谱图(FTM),对12种微动手势进行识别。设计了基于DenseNet和卷积注意力模块的手势识别网络,将混合特征谱图作为网络的输入,创新性地融合了卷积注意力模块(CBAM),实验表明,识别准确率达到99.03%,且该网络将注意力放在手势动作的前半段,实现了高精度的手势识别。

深度复数轴向自注意力卷积循环网络的语音增强

单通道语音增强任务中相位估计不准确会导致增强语音的质量较差,针对这一问题,提出了一种基于深度复数轴向自注意力卷积循环网络(deep complex axial self-attention convolutional recurrent network,DCACRN)的语音增强方法,在复数域同时实现了语音幅度信息和相位信息的增强.首先使用基于复数卷积网络的编码器从输入语音信号中提取复数表示的特征,并引入卷积跳连模块用以将特征映射到高维空间进行特征融合,加强信息间的交互和梯度的流动.然后设计了基于轴向自注意力机制的编码器-解码器结构,利用轴向自注意力机制来增强模型的时序建模能力和特征提取能力.最后通过解码器实现对语音信号的重构,同时利用混合损失函数优化网络模型,提升增强语音信号的质量.实验在公开数据集Valentini和DNS Challenge上进行,结果表明所提方法相对于其他模型在客观语音质量评估(perceptual evaluation of speech quality,PESQ)和短时客观可懂度(short-time objective intelligibility,STOI)两项指标上均有提升,在非混响数据集中,PESQ比DCTCRN(deep cosine transform convolutional recurrent network)提高了12.8%,比DCCRN(deep complex convolutional recurrent network)提高了3.9%,验证了该网络模型在语音增强任务中的有效性.

注意力可变形卷积网络的木质板材瑕疵识别

为了解决木材缺陷检测中人工成本高、效率低的问题,该文基于可变性卷积网络和注意力机制,提出一种端到端的神经架构模型.首先,可变形卷积网络(Deformable Convolutional Network, DCN)通过将矩形网格转换为变形网格,使模型专注于具有更多有用图像信息的区域.使用可变形卷积网络可以忽略图像特征中不相关的系数,解决了传统卷积在特征中学习更多信息能力有限的问题.然后,将DCN输出馈送到门控循环单元(Gated Recurrent Unit, GRU)层以学习缺陷图像的高级特征.最后,通过关注输入图像的最重要特征,应用注意力机制加强瑕疵区域的高亮度,从而提高模型识别的准确性.使用Matlab平台在4个木质板材缺陷数据集上将该文方法与现有其他方法进行比较分析,该文方法的准确率比其他3种对比方法提高了2.4%~13.2%的维度,灵敏度提高了3.3%~16.6%的维度,特异性提高了4%~21%的维度.实验结果表明,该文方法在检测精度和其他各个性能方面均优于现有方法,最佳准确率为99.2%,证明了该文方法的有效性.

混合卷积神经网络用于高光谱小麦品种鉴别

不同品种的小麦满足了市场的不同需求,同时也会带来小麦品种混杂的风险。为了提高小麦品种的纯度进而提高选种、育种、加工等环节的经济价值,小麦种子的鉴别起到关键作用。传统的小麦品种纯度理化分析鉴别方法,鉴定时间长且破坏种子,已不能满足现代农业的迫切需要。高光谱成像作为近年来发展迅速的一种快速、高效、无损的新型鉴别技术,在种子品种鉴别领域取得了显著成效。然而,已有的大多数高光谱分类方法仅利用光谱信息,没有充分考虑空间信息,分类效果较差。为了解决上述问题,利用高光谱成像设备采集8个品种的小麦种子正背面的高光谱图像,基于这些高光谱数据集,提出一种基于注意力机制的混合卷积神经网络的高光谱小麦品种鉴别方法,主要利用三维卷积和二维卷积的互补优势特性提取小麦的有价值特征,进而提高小麦品种的鉴别效果。具体而言,首先提取小麦品种的感兴趣区域,并利用多元散射校正方法削弱由于散射水平差异带来的同一品种的光谱差异。同时,利用主成分分析方法减少三维数据的无用光谱波段,进而保留并压缩对鉴别小麦品种有价值的特征。随后,利用三维卷积获取空间维度和不同光谱间的特征信息,二维卷积获取空间信息和图像的自身固有的特征信息,并在二维卷积模型中引入注意力机制进一步增强图像的特征信息的提取。最后在全连接层实现同一区域不同小麦品种的鉴别。实验表明,所提出的方法比其他方法具有较好的分类性能,分类准确率达97.92%。此外,所提出的方法对小样本数据也具有较好的分类性能。总的来说,提出的方法对于高光谱小麦种子鉴别具有较好的有效性和鲁棒性,为小麦种子的在线鉴别提供了一种新的方法。

融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。

基于门控卷积生成对抗网络的西汉漆箱纹饰图案数字化修复研究

中国历史上漆器以其精美的纹饰技法闻名于世,针对古代漆器表面破损严重、纹饰信息大面积缺失的彩绘漆箱修复难题,提出了一种门控卷积生成对抗网络(GC-GAN)的古代漆箱表面图案修复方法.该方法采用门控卷积结构改进生成对抗网络模型,以提升模型对于图像中有效像素的学习能力并解决不规则大面积图像区域的高分辨率修复问题.在此基础上,首先对漆箱图案中的畸变、破损和缺失部分进行掩膜处理,然后使用GC-GAN生成掩膜区域的图案.针对漆箱纹饰图案样本数量少的问题,借助迁移学习思想,将模型在CelebA、SVHN等多种公共数据集上学习到的知识迁移到漆箱纹饰上.最终实现了“西安凤栖原西汉家族墓地”M1墓室中出土的大型木胎彩绘漆箱表面纹饰的数字化虚拟修复.

深度卷积网络在航空高光谱岩性识别中的应用——以塔木素铀矿床北部地区为例

岩矿信息识别是高光谱遥感在地质勘探领域的主要应用方向。传统高光谱遥感方法尽管在矿物识别中取得了良好效果,但对于岩性识别存在瓶颈。深度学习是当前人工智能领域的研究热点,卷积神经网络是适用于图像识别的重要网络架构。以巴音戈壁盆地西部塔木素铀矿床北部区域为试验区,以SASI航空高光谱影像为数据源,将深度卷积神经网络引入航空高光谱遥感岩性识别,测试和评估其应用效果。基于预处理后的SASI航空高光谱影像,以试验区地质图及野外调查为参考,制作了8类样本,包括:印支期花岗岩、华力西晚期花岗岩、华力西晚期花岗闪长岩、华力西中期石英闪长岩、石炭系碎屑岩、中下侏罗统火山凝灰岩、第四系沉积物和绢云母化蚀变岩。构建了基于光谱特征的一维卷积神经网络、基于图-谱联合特征的一维+二维卷积神经网络和三维卷积神经网络3种模型结构,分别进行模型训练、测试和试验区岩性分类应用。模型测试结果表明:一维卷积神经网络、一维+二维卷积神经网络和三维卷积神经网络的总体精度分别为82.13%、86.46%和90.90%。通过评价分析三种卷积神经网络模型的岩性分类识别结果,三维卷积神经网络的识别结果与真实参考最为接近,对试验区各类岩性的区分识别效果最优,一维+二维卷积神经网络的识别效果次之,表明利用卷积神经网络引入高光谱图像空间信息,进行图-谱特征的联合挖掘,有利于提高影像的识别精度和实际应用效果。同时,一维卷积神经网络和一维+二维卷积神经网络的识别结果因航空高光谱影像拼接后的条带效应,影响了它们的实际应用效果,而三维卷积神经网络较好地克服了这种影响,表明其对于大面积航空影像处理具有相对较好的应用前景。

基于时空图卷积神经网络的强迫振荡定位与传播预测

振荡源定位与传播预测是抑制强迫振荡和保证电力系统稳定的关键。现有方法未能充分利用电网的空间拓扑信息和振荡的时序特征,限制了定位和预测的精度。因此,该文提出一种基于时空图卷积神经网络的强迫振荡定位与传播预测方法。首先,根据节点特征和拓扑信息构建图数据,考虑到强迫振荡传播的快速性,通过切比雪夫多项式扩大节点空间感受野,提取振荡空间特征。同时,利用门控循环单元网络提取多个节点振荡数据的时序关联,通过时空图卷积单元融合空间和时序特征。然后,将定位与传播预测分别建模为分类和回归问题,训练时空图卷积神经网络模型。算例分析表明,所提方法具有更高的准确率,且在噪声和部分节点数据缺失的情况下依然具有较好的性能。

基于格拉姆角场与深度卷积生成对抗网络的行星齿轮箱故障诊断

针对行星齿轮箱故障诊断中样本分布不均衡所引起的模型泛化能力差及诊断精度低等问题,采用格拉姆角场图像编码技术和深度卷积生成对抗网络相结合进行数据增强,融合AlexNet卷积神经网络进行故障诊断。将采集到的一维振动信号转化为格拉姆角场图,按比例划分训练集与测试集,将训练集样本与随机向量输入到深度卷积生成对抗网络模型中,交替训练生成器与判别器,达到纳什平衡,生成与原始样本类似的生成样本,从而实现故障样本的增广。用原始样本与生成的增广样本训练卷积神经网络分类模型,完成行星齿轮箱的故障识别。实验结果表明,所提方法能够有效提升样本不均衡条件下的行星齿轮箱故障诊断精度,使之达到99.15%,且能使收敛速度更快。

基于旋转等变卷积的航拍红外图像目标识别算法

为提高传统无人机红外目标识别算法对输入图像的旋转鲁棒性,提出一种具有旋转等变性的红外图像目标识别算法。参照可见光三通道结构,将红外图像扩张为三通道以丰富输入图像的细节及边缘信息;以旋转等变卷积为基础,设计并实现能够高度保留图像旋转特征的标准旋转等变卷积模块和旋转残差模块,使得所设计模型FC-YOLOv5对图像及图像中目标旋转具有鲁棒性;加入压缩和激励注意力机制自适应地学习到每个通道的重要性,并且根据任务的需要加权调整特征图中的通道贡献,提取重要的特征信息并抑制不重要的特征信息。在航拍行人车辆数据集和海上船舶数据集上验证模型的性能,以基准模型YOLOv5s及常见轻量级目标识别任务所用模型YOLOv8s、NanoDet作为对照组模型。实验结果表明,所提算法的平均精度均值相较于基准模型能够提升2%~4%,且当输入图像具有不同角度的旋转时,能够比对照组模型识别到更多旋转目标,且识别错误更少。

基于Transformer和动态3D卷积的多源遥感图像分类

多源遥感数据具有互补性和协同性,近年来,基于深度学习的方法已经在多源遥感图像分类中取得了一定进展,但当前方法仍面临关键难题,如多源遥感图像特征表达不一致,融合困难,基于静态推理范式的神经网络缺乏对不同类别地物的适应性。为解决上述问题,提出了基于跨模态Transformer和多尺度动态3D卷积的多源遥感图像分类模型。为提高多源特征表达的一致性,设计了基于Transformer的融合模块,借助其强大的注意力建模能力挖掘高光谱和LiDAR数据特征之间的相互作用;为提高特征提取方法对不同地物类别的适应性,设计了多尺度动态3D卷积模块,将输入特征的多尺度信息融入卷积核的调制,提高卷积操作对不同地物的适应性。采用多源遥感数据集Houston和Trento对所提方法进行验证,实验结果表明:所提方法在Houston和Trento数据集上总体准确率分别达到94.60%和98.21%,相比MGA-MFN等主流方法,总体准确率分别至少提升0.97%和0.25%,验证了所提方法可有效提升多源遥感图像分类的准确率。

基于卷积神经网络的预制叠合板多目标智能化检测方法

在生产过程中,预制构件尺寸不合格问题将导致其在施工现场无法顺利安装,从而影响工期。为推进预制构件智能化生产的进程,以预制叠合板为例,基于卷积神经网络研究生产过程中的智能检测方法,在生产流水线上设计并安装图像采集系统,建立预制叠合板尺寸检测数据集。通过YOLOv5算法实现对混凝土底板、预埋PVC线盒及外伸钢筋的识别,并以固定磁盒作为基准参照物进行尺寸检测误差分析,实现混凝土底板尺寸、预埋PVC线盒坐标的检测,在降低训练数据集参数规模的工况下保持较高的识别精度。结果表明:该方法可以有效检测预制叠合板的底板数量和尺寸、预埋PVC线盒数量和坐标,并实现弯折方向不合格的外伸钢筋检测,并能降低人工成本,提高检测精度,加快检测速度,提高预制叠合板的出厂质量。

融合多小波分解的深度卷积神经网络轴承故障诊断方法

针对卷积神经网络及其与信号降噪预处理集成方法面临高噪声环境和低质量数据挑战时难以有效地提取信号有用特征的问题,提出了一种融合Geronimo-Hardin-Massopust多小波分解的深度卷积神经网络模型(GHMMD-DCNN)。该模型思想是将多小波包分解与卷积神经网络深度融合,即设计多个一级多小波分解层以提取信号的低频分量和高频分量,再将多个一级多小波分解层与卷积层交替联接,使模型能够多尺度地提取并学习信号有用的时频域信息,信号分解和特征学习交替执行,进而实现强噪声鲁棒特征提取。在不同工况下的航空高速轴承振动数据上进行测试,结果表明:所提模型训练时能够快速达到稳定收敛,并且识别准确率均能达到99.9%以上;提出的方法在强噪声干扰下的故障辨识准确度和识别稳定性均优于对比方法,验证了其优秀的抗噪声干扰能力;在少训练样本测试中,提出的方法在单类训练样本数量为60时的平均诊断准确率高达91.19%,相比于其他方法最低提升了13.19%,验证了GHMMD-DCNN模型具有更优的低样本泛化能力。

改进卷积胶囊网络的滚动轴承故障诊断方法

目前许多基于卷积网络的滚动轴承故障诊断方法受噪声信号以及负荷变化的影响,存在诊断效果不佳、泛化能力差的问题。针对此问题提出一种改进卷积胶囊网络的滚动轴承变工况故障诊断方法。该方法设计了多尺度非对称卷积模块,其中采用不同尺度的非对称卷积层对输入数据进行特征提取,在实现最大化提取数据中的特征信息的同时,还能够有效减少参数量;在该模块中引入通道注意力机制,能更好地提取有用的通道特征,提高该方法特征提取的能力;通过将网络中的全连接层改进为胶囊全连接层,使得胶囊在输出向量特征信息时,避免了特征信息在空间中的丢失。使用凯斯西储大学轴承数据集和东南大学变速箱数据集来验证所提方法的诊断性能,并与其他深度学习方法进行了比较。实验结果表明,与其他深度学习方法相比,具有较好的泛化性,效果更佳。

融合注意力机制卷积神经网络的扬声器异常声分类

针对扬声器异常声非线性、非平稳且易受外部噪声干扰,以及因特征冗余而导致扬声器异常声识别率偏低的问题,提出一种基于变分模态分解(variational mode decomposition, VMD)和一维卷积循环注意力网络(1DCNN-BiLSTM-Attention)相结合的扬声器异常声分类方法。首先,采集不同类型异常声信号,采用VMD对异常声信号进行分解并提取扬声器异常声特征,构建标签化的初始数据;其次,将特征数据输入至1DCNN-BiLSTM网络中进行初始化特征提取,利用注意力机制自适应优化网络对异常声特征的学习权重,提升网络对特征鉴别能力,并优化Dropout抑制网络在训练过程中存在的过拟合问题,构成1DCNN-BiLSTM-Attention分类网络;最后,将所提方法应用于扬声器异常声分类中。实验结果表明:该方法可以有效提取到扬声器异常声中的关键特征,平均分类准确率为99.17%,与VGG16、RF和DCNN相比,其准确率分别提高了13.14%、0.56%,12.34%。

应用卷积神经网络VGG16的星载GNSS-R海冰检测

针对全球卫星导航系统反射计(global navigation satellite system-reflection,GNSS-R)海冰检测中延迟-多普勒图(delay-Doppler map,DDM)数据噪声大、消融期精度低等问题,提出将VGG16卷积神经网络模型应用于海冰检测。通过深层的网络结构提取DDM多层次特征进行海冰海水分类,以提高海冰检测的精度和稳定性。实验结果表明,与美国国家海洋和大气管理局地表类型数据对比,所提出的基于VGG16海冰检测方法检测准确率为98.02%,有效提升了海冰检测的准确率和稳定性。

基于卷积神经网络的移动机器人声源定位方法综述

听觉系统是机器人感知周围环境信息的重要途径之一,精准有效地进行声源定位,可极大提高移动机器人的感知与决策能力。将声源定位应用于危险环境救援与巡检具有重要工程意义。随着深度学习的广泛应用,引入卷积神经网络(convolutional neural networks, CNNs)的声源定位效果显著改善。将移动机器人声源定位研究从网络架构与改进、声音特征类型、数据仿真与增强,以及多模态信息融合四个角度进行综合对比及分析,并对技术的应用提出思考与展望。

基于卷积神经网络的遥感图像目标识别仿真

在遥感图像中,目标往往位于复杂的地物背景中,包括不同类型的植被、土地覆盖、建筑物等。上述复杂的地物背景对目标识别造成了困难。为了精准识别遥感图像目标,提出一种卷积神经网络下遥感图像目标识别算法。将暗通道原理和双边滤波算法有效结合,对遥感图像展开增强处理。统计分析遥感图像目标尺度范围,通过训练和测试卷积神经网络,得到最佳目标感兴趣区域尺度。确定目标感兴趣区域最佳尺度后,构建基于卷积神经网络的遥感图像目标识别架构,完成遥感图像目标识别。通过实验分析证明,采用所提算法可以有效提升遥感图像增强效果,具有较好的遥感图像目标识别性能。

基于注意力时间卷积网络的农产品期货分解集成预测

针对农产品期货时间序列数据受多方面因素影响,非线性、非平稳数据特征难以提取而导致预测准确性不高的问题,基于“分解-集成”的预测思想,本文提出一种基于自适应噪声完备经验模态分解(CEEMDAN)与Transformer-Encoder-TCN的农产品期货预测方法.首先,使用CEEMDAN将时间序列分解为多尺度多频率的本征模态分量(IMF)与残差,降低了序列建模复杂度;其次,使用融合多阶段自注意力单元Transformer-Encoder的时间卷积网络(TCN)对各个分量子序列进行特征提取与预测,优化了序列显著特征建模权重;最后,将各个子序列预测值线性相加集成得到最终预测结果.以南华期货公司农产品指数中的大豆期货指数为研究对象,采用时序交叉验证与参数迁移的方式进行模型重训练,消融和对比实验结果表明,提出的新模型在RMSE、MAE和DS三个评价指标上具有良好的效果,验证了该模型对农产品期货预测的有效性.