嵌入注意力机制的深度可分离卷积SAR目标识别

深度可分离卷积(Depthwise Separable Convolution,DSC)的应用使得深度学习的网络模型轻量化。在此基础上,提出了嵌入注意力机制的DSC合成孔径雷达(Synthetic Aperture Radar,SAR)目标识别方法。通过将DSC与注意力机制结合,提高网络对目标重要特征的学习能力;将多个DSC进行叠加和并联,设计多尺度网络模块,增强不同深度网络的特征提取能力;通过残差连接缓解深层网络的梯度弥散和梯度爆炸问题。使用公开数据集实验表明,所提方法在网络模型参数量较小的情况下,获得99.0%的平均识别率,具有较强的识别优势。

基于动态深度可分离卷积神经网络的管道泄漏孔径识别

针对传统模型为提高管道泄漏检测的精度而导致的模型结构复杂度、参数量和计算量大的问题,提出一种基于动态深度可分离卷积神经网络的管道泄漏孔径识别方法;动态卷积层将提取到的泄漏信号特征经过通道注意力权值计算和动态权值融合,通过动态深度可分离卷积层获得更强的特征表达能力,利用全局平均池化层降低网络模型参数,通过全连接层识别管道泄漏孔径。结果表明:新方法具有较高的识别精度,克服了传统模型资源开销大、功耗高的问题,降低了模型的训练时间,提升了管道泄漏孔径的识别速度,可用于工业中的管道泄漏程度监测。

基于深度可分离卷积和交叉注意力的水面污染识别

水面污染严重影响水面景观和水体生态.针对识别水面污染过程中水面场景复杂、小目标污染物特征难以提取等问题,本文提出一种基于深度可分离卷积与交叉注意力算法模块(deep-wise convolution and cross attention,DCCA).使用深度可分离卷积降低模型的参数量和计算量,使用交叉注意力建立不同尺度特征图之间的关系,使模型更好地理解上下文信息并提高识别复杂场景和小目标的能力.实验结果表明,添加DCCA模块后平均精确率提升了1.8%,达到了88.7%.并使用较少的显存占用提高了水面污染的检测效果.

基于深度可分离卷积神经网络的端到端高效车牌识别方法

车牌识别易受到天气或光照条件等不可预见干扰的影响。因此,文章提出了一种无需分割的车牌识别框架,该网络模型结合了先进的深度学习方法和设计思想,采用了深度可分离卷积来极大地降低计算量。与之前相比,它以更低的计算要求实现了更高的识别精度。在两个不同的数据集上对所提方法的有效性进行了评估,并获得了超过99%识别准确率和70以上的帧率,该方法稳健高效,值得推广。

基于多域信息融合与深度分离卷积的轴承故障诊断网络模型

针对传统卷积神经网络(CNN)对滚动轴承振动信号的故障识别准确率不高这一问题,提出了一种基于多域信息融合结合深度分离卷积(MDIDSC)的轴承故障诊断方法。首先,利用自适应噪声的完全集合经验模态分解(CEEMDAN)算法对轴承振动信号进行了分解;然后,利用分解出的本征模态函数(IMF)的各个分量构建了多空间状态矩阵,并将该多空间状态矩阵输入该深度分离卷积模型中,进行了卷积训练;同时,在该深度分离卷积模型中添加了残差结构,对数据特征进行了复利用,并对卷积核进行了深度分离,解决了深度模型的网络退化问题;最后,提出了一种空间特征提取方法,对模型参数进行了修剪,采用一种自适应学习率退火方法进行了梯度优化,以避免模型陷入局部最优。研究结果表明:通过对多个轴承故障数据集进行对比分析可知,MDIDSC在轴承故障诊断方面的准确率和稳定性明显优于其他方法,MDIDSC的最高测试准确率为100%,平均测试准确率为99.07%;同时,在测试集中的最大损失和平均损失分别为0.1345和0.0841;该结果表明MDIDSC在轴承故障诊断方面具有一定的优越性。

基于深度可分离卷积的异常驱动视频异常检测

视频异常检测已成为当前研究的热点问题,具有深刻的实际应用价值。针对视频异常检测中3D卷积计算复杂度高、难以训练以及使用重构方法进行检测时仅利用正常数据容易导致过拟合的问题,提出一种新型的深度可分离卷积异常驱动网络。首先,通过手工特征提取的方式抽取跳跃帧,并将其作为伪异常样本进行辅助训练;其次,设计深度可分离卷积网络,降低3D卷积的计算参数量;最后,通过最小化正常数据的重构误差和最大化异常数据的方式让网络学习以区分异常数据和正常数据。实验结果表明,该模型在各大公开数据集上均表现出具有竞争力的性能,其中在UCSDped1、UCSDped2、Avenue和UMN数据集上的准确率分别达91.3%、99.2%、87.4%和98.6%。此外,该模型对异常检测具有较强的灵敏度,且具有较强的泛化能力和鲁棒性。

基于深度可分离卷积和残差注意力模块的车道线检测方法

针对全天候条件下道路车道线视觉检测技术存在的算法结构复杂、参数数量较多等问题,提出一种基于深度可分离卷积和残差注意力模块的车道线检测方法,建立了LPINet网络模型。利用深度可分离卷积减小输入图像尺寸,设计三种不同结构的瓶颈残差单元降低网络参数数量,引入ECANet注意力机制增加重要特征通道权重,提升车道线检测精度。在Tusimple数据集和GZUCDS自建数据集上的实验结果表明:在晴天场景下,LPINet网络车道线检测精度可达96.62%,且模型参数量降至1.64 MB,实现了轻量化设计;在雾天、雨天、夜晚和隧道复杂场景中进行了探索性研究,车道线检测精度达到93.86%,证明了方法的有效性。

基于深度可分离卷积神经网络的水声目标分类研究及FPGA实现

针对传统声纳处理器算力受限,能效比低,难以支撑水声目标识别实时推理的问题,本文基于异构SoC平台设计了面向被动声纳水下目标实时计算处理系统。该系统具有较低资源开销和较小分类精度损失等优点,是一种低时延、高能效比的硬件加速器解决方案。本文以MobileNetV1网络模型为基础并对其进行结构优化,在现场可编程门阵列(Field programmable gate array,FPGA)上通过并行流水线的加速结构实现它的前向推理过程,并对其权值参数进行二值化的处理,以达到减少存储量和计算量的同时加快其推理速度的目的。同时,根据在输入通道维度以及输出图像高度上分块并行的优化思想,设计了深度可分离卷积的流水优化策略,采用并行流水的结构极大减少了前向推理的时间。实验表明,在利用出海实际采集得到的水声数据集上,本文实现的系统识别精度为88.5%,在的分辨率的图像上,时间延迟达到4.23 ms。对比CPU速度提升了70.68倍,是GPU速度的68%。能效比分别为CPU的0.08%,GPU的2.12%。本文为神经网络在硬件资源有限以及功耗存在限制的轻量型移动端或者边缘设备上的应用与部署,以及对促进融合水下勘探网络的建设和水下信息的快速获取提供了设计思路。

基于RISC-Ⅴ的深度可分离卷积神经网络加速器

人工智能时代,RISC-Ⅴ作为一种新兴的开源精简指令集架构,因其低功耗、模块化、开放性和灵活性等优势,使之成为一种能够适应不断发展的深度学习模型和算法的新平台.但是在硬件资源及功耗受限环境下,基础的RISC-Ⅴ处理器架构无法满足卷积神经网络对高性能计算的需求.为了解决这一问题,本文设计了一个基于RISC-Ⅴ的轻量化深度可分离卷积神经网络加速器,旨在弥补RISC-Ⅴ处理器的卷积计算能力的不足.该加速器支持深度可分离卷积中的两个关键算子,即深度卷积和点卷积,并能够通过共享硬件结构提高资源利用效率.深度卷积计算流水线采用了高效的Winograd卷积算法,并使用2×2数据块组合拼接成4×4数据片的方式来减少传输数据冗余.同时,通过拓展RISC-Ⅴ处理器端指令,使得加速器能够实现更灵活的配置和调用.实验结果表明,相较于基础的RISC-Ⅴ处理器,调用加速器后的点卷积和深度卷积计算取得了显著的加速效果,其中点卷积加速了104.40倍,深度卷积加速了123.63倍.与此同时,加速器的性能功耗比达到了8.7GOPS/W.本文的RISC-Ⅴ处理器结合加速器为资源受限环境下卷积神经网络的部署提供了一个高效可行的选择.

基于通道混洗和深度可分离卷积的混合型晶圆缺陷识别

针对传统深度神经网络对混合型晶圆缺陷信息提取计算效率低的问题,提出了一种基于通道混洗和深度可分离卷积的轻量化深度神经网络,实现了混合型晶圆缺陷的高效识别。在晶圆图数据集Mixed-type WM38上的实验结果表明,所提出的模型对比于一些现有的深度学习模型,在耗费较少的训练和推理时间的同时取得了较高的模型精度,其平均正确率达97.32%,参数量仅有0.4786 M。

基于深度可分离卷积的三维模型轻量化处理方法

三维模型轻量化处理方法是指对三维模型进行优化处理,以减少其占用的存储空间和计算资源,从而提高处理速度和系统性能的技术手段。在实际应用中,由于三维模型包含大量的顶点、面片和纹理等数据,需要运用三维模型轻量化技术来减少数据量,以更好地适应各种场景和需求。为此,提出基于深度可分离卷积的三维模型轻量化处理方法,以显著减少模型中的参数数量和计算量。该方法对于提升处理效率和优化系统性能具有重要意义。

深度学习中深度可分离卷积网络在遥感图像分类中的优化

为了优化深度可分离卷积网络在遥感图像分类中的应用,解决传统卷积神经网络在处理高分辨率遥感图像时的计算量大、参数冗余等问题。采用模块化与层次化设计方法,应用数据增强技术与特征工程,通过轻量化模型设计、参数剪枝与量化技术,并设置实验环境、选取典型数据集,进行实验设计与评估,比较不同模型的分类准确率。结果显示,优化后的深度可分离卷积网络在分类准确率、计算量、训练时间和能耗方面表现优异。得出结论,优化模型在遥感图像分类中具备高实用价值,提升了遥感图像分类的效率和准确性。

基于可分离卷积与小波变换融合的道路裂缝检测

针对目前对细小裂缝检测能力不强、分割精度低等问题,提出了一种改进的U-Net模型来检测路面裂缝,提高检测能力和分割精度。中文设计了新的模块MSDWBlock(Multi-Scale Depthwise Separable Convolutional Block),应用在编码器和解码器部分,通过深度可分离卷积增强模型的能力,扩大模型感受野,在跳跃连接部分引入了C2G注意力机制模块,提升模型对裂缝特征的感知能力;并引入了ASPP(Atrous Spatial Pyramid Pooling)和DWT(Discrete Wavelet Transformation)。ASPP通过在多个尺度上进行操作,有助于捕捉到裂缝的特征,而DWT能够减少卷积池化过程中的裂缝空间信息损失,保留裂缝边缘信息。这种结构设计使得网络更专注于裂缝的特征,从而提升了裂缝检测的准确性。通过实验证明所提模型显示出优于U-Net,Segnet,U2net等先进模型的精确性。在CFD数据集上mIoU,F1分别达到78.51%,0.868。这些成果表明,所提方法能有效提升道路裂缝检测的性能。

基于深度可分离空洞卷积金字塔的变压器渗漏油检测

为了降低影响并提高对变压器渗漏油巡检图像的检测效率,提出一种基于深度可分离空洞卷积金字塔的变压器渗漏油检测模型。首先,将空洞金字塔中普通卷积块修改为深度可分离卷积块,以此扩大金字塔感受野,使特征提取网络提取到的特征图语义信息更加丰富;然后,改进了特征提取阶段低阶语义特征与高阶语义特征融合过程,进一步增强特征提取网络产生特征图的语义信息;最后,为了避免经过多次卷积、池化操作后特征图语义信息的损失,在融合过程中引入空间注意力机制和通道注意力机制,进一步增强特征图中的语义信息。与UNet(convolutional networks for biomedical image segmentation)、PSPNet(pyramid scene parseing network)、DeepLabv3+(encoder-decoder with atrous separable convolution for semantic image segmentation)和MCNN(multi-class convolutional neural network)等算法进行对比实验发现,本文所提出网络检测模型效果好,查准率达到了76.85%,平均交并比达到了64.63%,召回率达到了73.56%,检测速率达到了30 f/s。为了验证本文提出方法的有效性,设计了消融实验,与基础网络模型相比,查准率提高了9.33%,平均交并比提高了7.15%,召回率提高了5.66%。

基于改进SE-Net和深度可分离残差的高光谱图像分类

针对目前常见的用于高光谱图像分类的卷积神经网络参数数量多,训练时间长,对样本数量依赖性大的问题,提出一种适用于有限训练样本条件下基于改进压缩激活网络和深度可分离残差的分类网络MDSR&SE-Net.首先使用主成分分析对原始高光谱图像进行通道降维,然后通过三维卷积神经网络连接多特征残差结构,同时嵌入改进的SE模块提取高光谱图像的空间和光谱细节特征,最后将提取到的特征数据输入Softmax分类器激活分类.为了使网络更加轻量,通过在残差结构中使用深度可分离卷积和引入全局平均池化减少参数数量.实验结果显示,使用有限训练样本在三种常见高光谱数据集上总体分类精度均达到99%以上.

基于多尺度深度可分离卷积的低照度图像增强算法

为解决低照度图像颜色失真、对比度低以及现有增强算法存在的细节丢失严重、参数过多等问题,提出基于多尺度深度可分离卷积的低照度图像增强算法。首先,设计多尺度混合空洞卷积模块,在扩大感受野的同时解决网格效应;其次,设计多尺度特征提取模块,提取不同尺度的特征信息;最后,对不同尺寸的特征图使用2种模块,将低层空间信息与高层语义信息充分融合,获得最终输出。用深度可分离卷积代替标准卷积可大大减少网络参数量与计算量。实验结果表明,所提算法能有效地提高图像的亮度和对比度,减少模型参数量,且图像纹理细节及色彩恢复较好。

基于残差网络和深度可分离卷积增强自注意力机制的窃电识别

窃电行为严重危害着电力设备和人身安全,并造成重大经济损失.对窃电行为实现准确识别是供电企业降损增效的一项重要工作.在残差网络(residual network, ResNet)结构的基础上,将二维卷积神经网络与深度可分离卷积增强的自注意力(depthwise separable convolution enhanced self attention,DSCAttention)机制相结合并构建模型,用于提升窃电用户的正确分类.此外,由于窃电数据常存在缺失值、异常值和正负样本不平衡的问题,故采用补零法、分位数变换和分层拆分法对以上问题分别处理.在真实窃电数据集上进行了大量实验,实验结果表明,所提模型的AUC指标达到了91.92%, MAP@100指标达到了98.58%, MAP@200指标达到了96.77%.与其他窃电分类模型相比,所提模型在窃电分类任务上亦有很好的表现,可以在窃电智能化识别中推广使用.

基于深度可分离卷积的多神经网络恶意代码检测模型

针对传统的恶意代码检测方法存在成本过高和检测结果不稳定等问题,提出一种基于深度可分离卷积的多神经网络恶意代码检测模型。该模型使用深度可分离卷积(DSC)、SENet(Squeeze-and-Excitation Network)通道注意力机制和灰度共生矩阵(GLCM),通过三个轻型神经网络与灰度图像纹理特征分类并联检测恶意代码家族及其变种,将多个强分类器检测结果通过朴素贝叶斯分类器融合,在提高检测准确率的同时减少网络计算开销。在MalVis+良性数据的混合数据集上的实验结果表明,该模型对恶意代码家族及其变种的检测准确率达到97.43%,相较于ResNet50、VGGNet模型分别提高了6.19和2.29个百分点,而它的参数量只有ResNet50模型的68%和VGGNet模型的13%;在malimg数据集上该模型的检测准确率达到99.31%。可见,所提模型检测效果较好,且参数量也有所降低。

面向小型边缘计算的深度可分离神经网络模型与硬件加速器设计

神经网络参数量和运算量的扩大,使得在资源有限的硬件平台上流水线部署神经网络变得更加困难。基于此,提出了一种解决深度学习模型在小型边缘计算平台上部署困难的方法。该方法基于应用于自定义数据集的深度可分离网络模型,在软件端使用迁移学习、敏感度分析和剪枝量化的步骤进行模型压缩,在硬件端分析并设计了适用于有限资源FPGA的流水线硬件加速器。实验结果表明,经过软件端的网络压缩优化,这种量化部署模型具有94.60%的高准确率,16.64 M的较低的单次推理定点数运算量和0.079 M的参数量。此外,经过硬件资源优化后,在国产FPGA开发板上进行流水线部署,推理帧率达到了366 FPS,计算能效为8.57 GOPS/W。这一研究提供了一种在小型边缘计算平台上高性能部署深度学习模型的解决方案。

基于深度可分离卷积的大型铸件焊缝检测方法

针对目前大型铸件的焊缝检测方法中对连续密集焊缝的检测准确度较低、漏检率较高的问题,将实时性较高的YOLOv3算法应用到大型铸件的焊缝检测领域,并提出两点改进:将普通卷积替换为深度可分离卷积(DSC),减少参数量;针对损失函数进行改进,减少漏检率。实验结果表明:改进的方法在改善检测效果的同时,降低了检测时间,在焊缝数据集上的测试达到最高94.7%的平均精度,比原始YOLOv3提升2.5%,平均检测速度达到了19.3 fps,检测速度提高了2倍。