嵌入注意力机制的深度可分离卷积SAR目标识别

深度可分离卷积(Depthwise Separable Convolution,DSC)的应用使得深度学习的网络模型轻量化。在此基础上,提出了嵌入注意力机制的DSC合成孔径雷达(Synthetic Aperture Radar,SAR)目标识别方法。通过将DSC与注意力机制结合,提高网络对目标重要特征的学习能力;将多个DSC进行叠加和并联,设计多尺度网络模块,增强不同深度网络的特征提取能力;通过残差连接缓解深层网络的梯度弥散和梯度爆炸问题。使用公开数据集实验表明,所提方法在网络模型参数量较小的情况下,获得99.0%的平均识别率,具有较强的识别优势。

基于深度可分离卷积和交叉注意力的水面污染识别

水面污染严重影响水面景观和水体生态.针对识别水面污染过程中水面场景复杂、小目标污染物特征难以提取等问题,本文提出一种基于深度可分离卷积与交叉注意力算法模块(deep-wise convolution and cross attention,DCCA).使用深度可分离卷积降低模型的参数量和计算量,使用交叉注意力建立不同尺度特征图之间的关系,使模型更好地理解上下文信息并提高识别复杂场景和小目标的能力.实验结果表明,添加DCCA模块后平均精确率提升了1.8%,达到了88.7%.并使用较少的显存占用提高了水面污染的检测效果.

基于多域信息融合与深度分离卷积的轴承故障诊断网络模型

针对传统卷积神经网络(CNN)对滚动轴承振动信号的故障识别准确率不高这一问题,提出了一种基于多域信息融合结合深度分离卷积(MDIDSC)的轴承故障诊断方法。首先,利用自适应噪声的完全集合经验模态分解(CEEMDAN)算法对轴承振动信号进行了分解;然后,利用分解出的本征模态函数(IMF)的各个分量构建了多空间状态矩阵,并将该多空间状态矩阵输入该深度分离卷积模型中,进行了卷积训练;同时,在该深度分离卷积模型中添加了残差结构,对数据特征进行了复利用,并对卷积核进行了深度分离,解决了深度模型的网络退化问题;最后,提出了一种空间特征提取方法,对模型参数进行了修剪,采用一种自适应学习率退火方法进行了梯度优化,以避免模型陷入局部最优。研究结果表明:通过对多个轴承故障数据集进行对比分析可知,MDIDSC在轴承故障诊断方面的准确率和稳定性明显优于其他方法,MDIDSC的最高测试准确率为100%,平均测试准确率为99.07%;同时,在测试集中的最大损失和平均损失分别为0.1345和0.0841;该结果表明MDIDSC在轴承故障诊断方面具有一定的优越性。

基于深度可分离卷积和残差注意力模块的车道线检测方法

针对全天候条件下道路车道线视觉检测技术存在的算法结构复杂、参数数量较多等问题,提出一种基于深度可分离卷积和残差注意力模块的车道线检测方法,建立了LPINet网络模型。利用深度可分离卷积减小输入图像尺寸,设计三种不同结构的瓶颈残差单元降低网络参数数量,引入ECANet注意力机制增加重要特征通道权重,提升车道线检测精度。在Tusimple数据集和GZUCDS自建数据集上的实验结果表明:在晴天场景下,LPINet网络车道线检测精度可达96.62%,且模型参数量降至1.64 MB,实现了轻量化设计;在雾天、雨天、夜晚和隧道复杂场景中进行了探索性研究,车道线检测精度达到93.86%,证明了方法的有效性。

基于通道混洗和深度可分离卷积的混合型晶圆缺陷识别

针对传统深度神经网络对混合型晶圆缺陷信息提取计算效率低的问题,提出了一种基于通道混洗和深度可分离卷积的轻量化深度神经网络,实现了混合型晶圆缺陷的高效识别。在晶圆图数据集Mixed-type WM38上的实验结果表明,所提出的模型对比于一些现有的深度学习模型,在耗费较少的训练和推理时间的同时取得了较高的模型精度,其平均正确率达97.32%,参数量仅有0.4786 M。

基于深度可分离空洞卷积金字塔的变压器渗漏油检测

为了降低影响并提高对变压器渗漏油巡检图像的检测效率,提出一种基于深度可分离空洞卷积金字塔的变压器渗漏油检测模型。首先,将空洞金字塔中普通卷积块修改为深度可分离卷积块,以此扩大金字塔感受野,使特征提取网络提取到的特征图语义信息更加丰富;然后,改进了特征提取阶段低阶语义特征与高阶语义特征融合过程,进一步增强特征提取网络产生特征图的语义信息;最后,为了避免经过多次卷积、池化操作后特征图语义信息的损失,在融合过程中引入空间注意力机制和通道注意力机制,进一步增强特征图中的语义信息。与UNet(convolutional networks for biomedical image segmentation)、PSPNet(pyramid scene parseing network)、DeepLabv3+(encoder-decoder with atrous separable convolution for semantic image segmentation)和MCNN(multi-class convolutional neural network)等算法进行对比实验发现,本文所提出网络检测模型效果好,查准率达到了76.85%,平均交并比达到了64.63%,召回率达到了73.56%,检测速率达到了30 f/s。为了验证本文提出方法的有效性,设计了消融实验,与基础网络模型相比,查准率提高了9.33%,平均交并比提高了7.15%,召回率提高了5.66%。

基于改进SE-Net和深度可分离残差的高光谱图像分类

针对目前常见的用于高光谱图像分类的卷积神经网络参数数量多,训练时间长,对样本数量依赖性大的问题,提出一种适用于有限训练样本条件下基于改进压缩激活网络和深度可分离残差的分类网络MDSR&SE-Net.首先使用主成分分析对原始高光谱图像进行通道降维,然后通过三维卷积神经网络连接多特征残差结构,同时嵌入改进的SE模块提取高光谱图像的空间和光谱细节特征,最后将提取到的特征数据输入Softmax分类器激活分类.为了使网络更加轻量,通过在残差结构中使用深度可分离卷积和引入全局平均池化减少参数数量.实验结果显示,使用有限训练样本在三种常见高光谱数据集上总体分类精度均达到99%以上.

基于多尺度深度可分离卷积的低照度图像增强算法

为解决低照度图像颜色失真、对比度低以及现有增强算法存在的细节丢失严重、参数过多等问题,提出基于多尺度深度可分离卷积的低照度图像增强算法。首先,设计多尺度混合空洞卷积模块,在扩大感受野的同时解决网格效应;其次,设计多尺度特征提取模块,提取不同尺度的特征信息;最后,对不同尺寸的特征图使用2种模块,将低层空间信息与高层语义信息充分融合,获得最终输出。用深度可分离卷积代替标准卷积可大大减少网络参数量与计算量。实验结果表明,所提算法能有效地提高图像的亮度和对比度,减少模型参数量,且图像纹理细节及色彩恢复较好。

面向小型边缘计算的深度可分离神经网络模型与硬件加速器设计

神经网络参数量和运算量的扩大,使得在资源有限的硬件平台上流水线部署神经网络变得更加困难。基于此,提出了一种解决深度学习模型在小型边缘计算平台上部署困难的方法。该方法基于应用于自定义数据集的深度可分离网络模型,在软件端使用迁移学习、敏感度分析和剪枝量化的步骤进行模型压缩,在硬件端分析并设计了适用于有限资源FPGA的流水线硬件加速器。实验结果表明,经过软件端的网络压缩优化,这种量化部署模型具有94.60%的高准确率,16.64 M的较低的单次推理定点数运算量和0.079 M的参数量。此外,经过硬件资源优化后,在国产FPGA开发板上进行流水线部署,推理帧率达到了366 FPS,计算能效为8.57 GOPS/W。这一研究提供了一种在小型边缘计算平台上高性能部署深度学习模型的解决方案。

基于残差网络和深度可分离卷积增强自注意力机制的窃电识别

窃电行为严重危害着电力设备和人身安全,并造成重大经济损失.对窃电行为实现准确识别是供电企业降损增效的一项重要工作.在残差网络(residual network, ResNet)结构的基础上,将二维卷积神经网络与深度可分离卷积增强的自注意力(depthwise separable convolution enhanced self attention,DSCAttention)机制相结合并构建模型,用于提升窃电用户的正确分类.此外,由于窃电数据常存在缺失值、异常值和正负样本不平衡的问题,故采用补零法、分位数变换和分层拆分法对以上问题分别处理.在真实窃电数据集上进行了大量实验,实验结果表明,所提模型的AUC指标达到了91.92%, MAP@100指标达到了98.58%, MAP@200指标达到了96.77%.与其他窃电分类模型相比,所提模型在窃电分类任务上亦有很好的表现,可以在窃电智能化识别中推广使用.

基于深度可分离卷积的多神经网络恶意代码检测模型

针对传统的恶意代码检测方法存在成本过高和检测结果不稳定等问题,提出一种基于深度可分离卷积的多神经网络恶意代码检测模型。该模型使用深度可分离卷积(DSC)、SENet(Squeeze-and-Excitation Network)通道注意力机制和灰度共生矩阵(GLCM),通过三个轻型神经网络与灰度图像纹理特征分类并联检测恶意代码家族及其变种,将多个强分类器检测结果通过朴素贝叶斯分类器融合,在提高检测准确率的同时减少网络计算开销。在MalVis+良性数据的混合数据集上的实验结果表明,该模型对恶意代码家族及其变种的检测准确率达到97.43%,相较于ResNet50、VGGNet模型分别提高了6.19和2.29个百分点,而它的参数量只有ResNet50模型的68%和VGGNet模型的13%;在malimg数据集上该模型的检测准确率达到99.31%。可见,所提模型检测效果较好,且参数量也有所降低。

融合深度可分离卷积的多尺度残差UNet在PolSAR地物分类中的研究

极化合成孔径雷达(Polarimetric Synthetic Aperture Radar,PolSAR)地物分类作为合成孔径雷达(Synthetic Aperture Radar,SAR)图像解译的重要研究内容之一,越来越受到国内外学者的广泛关注。不同于自然图像,PolSAR数据集不仅具有独特的数据属性同时还属于小样本数据集,因此如何更充分地利用数据特性以及标签样本是需要重点考虑的内容。基于以上问题,该文在UNet基础上提出了一种新的用于PolSAR地物分类的网络架构——多尺度可分离残差UNet(Multiscale Separable Residual Unet,MSR-Unet)。该网络结构首先利用深度可分离卷积替代普通2D卷积,分别提取输入数据的空间特征和通道特征,降低特征的冗余度;其次提出改进的多尺度残差结构,该结构以残差结构为基础,通过设置不同大小的卷积核获得不同尺度的特征,同时采用密集连接对特征进行复用,使用该结构不仅能在一定程度上增加网络深度,获取更优特征,还能使网络充分利用标签样本,增强特征传递效率,从而提高PolSAR地物的分类精度。在3个标准数据集上的实验结果表明:与传统分类方法及其它主流深度学习网络模型如UNet相比,MSR-Unet网络结构能够在不同程度上提高平均准确率、总体准确率和Kappa系数且具有更好的鲁棒性。

基于深度可分离卷积的大型铸件焊缝检测方法

针对目前大型铸件的焊缝检测方法中对连续密集焊缝的检测准确度较低、漏检率较高的问题,将实时性较高的YOLOv3算法应用到大型铸件的焊缝检测领域,并提出两点改进:将普通卷积替换为深度可分离卷积(DSC),减少参数量;针对损失函数进行改进,减少漏检率。实验结果表明:改进的方法在改善检测效果的同时,降低了检测时间,在焊缝数据集上的测试达到最高94.7%的平均精度,比原始YOLOv3提升2.5%,平均检测速度达到了19.3 fps,检测速度提高了2倍。

基于多尺度注意力深度可分离卷积残差网络的视网膜血管堵塞检测

提出了一种基于多尺度注意力深度可分离卷积残差网络模型,用于辅助视网膜血管堵塞的诊断和分类。收集了两个公开数据集共计725张视网膜眼底图像,包括正常视网膜和三种不同类型的视网膜血管堵塞。实验使用深度可分卷积提取多级图像特征,并通过空间和通道注意力机制增强这些特征,最后将增强后的多级特征融合并使用全局平均池化和全连接层进行分类。该模型在这个数据集上获得了93.79%的分类准确率,并具有较高的精准率、召回率和F1度量值等指标,可以有效地诊断视网膜堵塞。该研究为深度学习在眼科医学中的应用提供了新的思路和方法。

基于深度可分离卷积的心音自动分类

针对心音诊断系统中人工设计特征耗时耗力且存在一定程度信息丢失的问题,提出一种基于深度可分离卷积的心音自动分类方法。原始心音数据采用巴特沃斯带通滤波器和小波变换相结合去噪并输入网络;采用深度可分离卷积降低网络的参数量,并引入通道注意力机制提升网络的特征表达能力;基于Softmax计算通道的概率值实现分类。采用PhysioNet/CinC 2016心音数据集进行实验验证,实验结果表明,该方法的准确率、灵敏度和特异性优于同类模型,且模型的参数量很小,很适合部署在资源受限的终端设备上。

基于深度可分离卷积和Transformer的关键点检测方法

随着神经网络技术的不断发展,人体姿态识别在现实生活中扮演着越来越重要的角色,广泛应用于视频监控和智能健身等方面。为满足在移动端易集成的需求,提出一种基于Transformer的姿态识别算法。通过MobileNet中的深度可分离卷积提取特征,同时添加残差结构获取低维度信息,和Transformer的编码结构结合实现人体关键点检测。实验结果表明,训练得到的网络模型的准确率与传统的基于深度学习的姿态识别方法准确率相差不超过1%,但模型参数大幅下降,更加轻量化且便于移动端的部署。

基于注意力机制和残差深度分离卷积的RUL预测方法

传统机械设备剩余使用寿命(RUL)预测方法需进行多源数据融合、建立健康指标等人工干预过程,预测精度受限于健康指标对设备退化过程的表征能力。为实现端对端的RUL预测并提升预测精度,提出了一种基于注意力机制和残差深度分离卷积网络相结合的RUL方法,并采用C-MAPSS航空发动机仿真数据集检验方法的有效性。采用滑动窗从发动机多源状态参数中截取多元序列作为表征发动机状态的样本,并基于一维可分离卷积网络建立RUL预测模型,为提升模型的预测精度在网络中引入了注意力机制和残差网络。最终所提方法对C-MAPSS 4个测试集的均方根误差均值分别为11.28、14.12、11.57和15.61,且对发动机在运行期间的RUL预测也具有良好的泛化能力。通过与多种RUL预测方法的结果相比较,表明所提方法对4个测试集的整体预测精度均较高,是一种有效的机械设备RUL预测方法,并可用于设备的早期故障预警。

基于多尺度注意力和深度可分离卷积的农田杂草检测

农田杂草根除是促进农业稳定生产的前提。由于杂草种类多,且相同物种因大小、颜色和位置的变化多样,导致传统农田杂草检测算法性能不高。提出一种基于多尺度注意力和深度可分离卷积的农田杂草检测算法。首先,利用深度可分离卷积改进主干网络VGG-16,降低模型参数量,加快模型的训练;然后,采用多尺度注意力模块提取杂草的多尺度特征,增强模型对形态图像特征的捕获能力。通过在不同时间段测试多个农田杂草样本,结果表明:本文算法的精准率为94.69%、召回率为94.88%和F1值为93.82%。与当前主流杂草检测模型相比,在保持较高检测性能的基础上,具有更低的时间开销,可应用于农田杂草的自动检测。

基于深度可分离卷积的果蔬识别方法研究

在无人零售行业的果蔬检测过程中,针对现有检测算法出现的目标漏检、误检和检测速度慢的问题,提出了一种基于深度可分离卷积的改进Faster R-CNN检测算法。该算法首先使用一个与DIOU正相关的惩罚函数对候选框的置信度得分进行惩罚,然后通过对冗余框的加权平均融合候选区域的上下文信息,将算法中的标准卷积替换为深度可分离卷积。实验表明,该算法可有效选择候选区域,降低了目标被漏检和误检的概率,同时提升了算法的检测速度和识别精度,具有重要的理论和应用价值。

基于深度可分离卷积的表情识别改进方法

针对传统表情识别存在相似表情识别精度不高,且深度学习模型参数量巨大问题,提出一种改进的残差网络模型。通过引入深度可分离卷积核,减少了模型的参数量;引入压缩激励模块,改善了模型通道的加权关系;通过将中心损失引入联合算法设计中,提高了相似表情之间的区分度。实验结果表明,识别算法提升了相似表情的区分精度,且较好的控制了模型的参数量。模型在3个公开数据集上的准确率分别达到了97.57%、96.24%、94.09%。