基于双分支边缘卷积融合网络的红外与可见光图像融合方法

提出一种基于双分支边缘卷积融合网络的红外与可见光图像融合方法。首先,提出一种改进的双分支边缘卷积结构,将图像包含的信息分解为公共信息和模态信息,并于每个分支引入边缘卷积块,更好的提取深度特征;然后在融合层引入卷积注意力模块对模态特征进行增强;最后基于所本文编解码网络特点,提出一种重建损失结合融合损失的损失函数。经过大量的消融性实验和对比实验表明,本文方法能够很好的保留原图像中的公共信息和模态信息,并且相比目前最新的融合方法在主观和客观评价上都具有优秀的综合性能。

基于双分支融合网络的图像超分辨率重建与增强

针对现有的图像超分算法难以从模糊的低分辨率图像中重建清晰的高分辨率图像的问题,提出了双分支融合网络,通过双分支结构来联合处理图像去模糊增强、图像超分任务。网络整体分为特征提取、特征融合、重建3个阶段。在特征提取阶段,通过以ResNet为基本模式所构建的轻量化残差组、增强稠密残差块来强化对去模糊局部特征、多尺度高频特征的提取;同时为了提升关键区域的特征表达,引入监督注意力模块将提取到的特征进行校准与细化。在特征融合阶段,以像素相乘、通道相加的方式进行融合。在重建阶段,通过多个卷积操作提升空间分辨率。试验结果表明,对于4倍重建任务,输出图像的峰值信噪比(PSNR)在LR-GOPRO、Set5数据集上比GFN网络分别提高了1.34、1.36 dB,且模型的参数减少约50%。

基于散射点拓扑和双分支卷积神经网络的SAR图像小样本舰船分类

随着合成孔径雷达(SAR)图像在舰船检测和识别领域的广泛应用,准确而高效地进行舰船分类已经成为一个亟待解决的问题。在小样本学习场景下,一般的方法面临着泛化能力不足的问题,因此该文引入了额外的信息和特征,旨在增加模型对目标的理解和泛化能力。该文通过散射关键点构建拓扑结构以表征舰船目标的结构和形状特征,并计算拓扑结构的拉普拉斯矩阵,将散射点之间的拓扑关系转化为矩阵形式,最后将SAR图像和拉普拉斯矩阵分别作为双分支网络的输入进行特征提取。在网络结构方面,该文设计了一个由两个独立的卷积分支组成的双分支卷积神经网络,分别负责处理视觉特征和拓扑特征,并用两个交叉融合注意力模块分别对两个分支的特征进行交互融合。该方法有效地将目标散射点拓扑关系与网络的自动学习过程相结合,从而增强模型的泛化能力并提高分类精度。实验结果表明,在OpenSARShip数据集上,所提方法在1-shot和5-shot任务的平均准确率分别为53.80%和73.00%。而在FUSAR-Ship数据集上,所提方法分别取得了54.44%和71.36%的平均准确率。所提方法在1-shot和5-shot的设置下相比基础方法准确率均提升超过15%,证明了散射点拓扑的应用对SAR图像小样本舰船分类的有效性。

基于双分支卷积网络的玉米叶片叶绿素含量高光谱和多光谱协同反演

针对智慧农业中叶绿素的精准预测问题,本文提出了基于双分支网络的玉米叶片叶绿素含量高光谱与多光谱协同反演的方法。使用欠完备自编码器进行数据降维,捕捉数据中最为显著的特征,使降维后的数据可以代替原始数据进行训练,从而加快训练效率,使用双分支卷积网络将多光谱数据用于填充高光谱数据信息,充分利用高光谱数据的空间细节信息,再结合1DCNN建立玉米叶片叶绿素含量预测模型。结果表明,与传统降维算法相比较,欠完备自编码器处理后预测结果最佳,决定系数R2为0.988,均方根误差(RMSE)为0.273,表明使用欠完备自编码器进行降维可以有效提高数据反演精度;与单一的高光谱数据反演模型和多光谱数据反演模型相比,双分支卷积网络预测模型均取得较优的预测结果,R2在0.932以上,RMSE均在1.765以下,表明基于双分支卷积网络的高光谱与多光谱图像协同反演模型可以有效地利用数据的特征;对于其他数据结合本文提及的双分支卷积网络模型进行反演,其R2均在0.905以上,RMSE均在2.149以下,表明该预测模型具有一定的普适性。

基于双通道交叉融合的卷积神经网络图像识别方法研究

针对单通道卷积神经网络的特征提取不够充分、深度网络存在训练困难的问题,提出一种双通道交叉融合的卷积神经网络模型。该模型包括三个特征提取阶段,每个阶段分两条通道进行图像卷积,当两条通道的卷积结束后进行特征交叉融合,经过三次交叉融合后输入到全局平均池化层以及全连接层中得到分类结果。将该模型应用于Cifar10、Cifar100和Fashion-MNIST的图像分类任务以验证模型的有效性。结果表明,双通道交叉融合模型可以在当前支持GPU加速的主流笔记本电脑上进行训练,在同样规模的数据集上具有比同类其他模型更好的分类性能。

拉普拉斯卷积的双路径特征融合遥感图像智能解译方法

由于遥感图像存在多尺度变化和目标边缘模糊等问题,对其进行智能解译仍然是一项极具挑战性的工作。传统的语义分割方法在处理这些问题时存在局限性,难以有效捕捉全局和局部信息。针对上述问题,文中提出一种双路径特征融合分割方法 DFNet。首先,使用Swin Transformer作为主干提取全局语义特征,以处理像素之间的长距离依赖关系,从而促进对图像中不同区域相关性的理解;其次,将拉普拉斯卷积嵌入到空间分支,以捕获局部细节信息,加强目标地物边缘信息表达;最后,引入多尺度双向特征融合模块,充分利用图像中的全局和局部信息,以增强多尺度信息的获取能力。在实验中,使用了三个公开的高分辨率遥感图像数据集进行验证,并通过消融实验验证了所提模型不同模块的作用。实验结果表明,所提方法在Uavid数据集、Potsdam数据集、LoveDA数据集的mIoU达到了71.32%、85.58%、54.01%,提高了语义分割的性能,使分割结果更为精细。

复杂稠密网络下的并置多尺度融合边缘检测模型

边缘检测是计算机视觉任务的基础.目前的技术主要依赖于深度学习,但是大多数的模型在评价阶段会借助非极大值抑制来提高预测边缘的准确率.该策略仅着重关注预测边缘的准确性,没有同时考虑边缘的粗细程度.针对这一问题,本文基于复杂稠密网络,提出了一种新的特征融合策略.该策略在传统深度学习边缘检测器侧输出的基础上,添加了自顶向下的并置多尺度融合架构.此架构可以更好地将高层的高语义特征与低层的高分辨率纹理特征结合,有效地抑制了边缘预测中存在的背景模糊和伪线条的现象.在特征连接处使用Concat block块代替单一的Concat操作,更好地融合了不同尺度的语义信息.最后使用一个简单的注意力融合块融合多个网络输出,并结合跟踪损失对输出的不同尺度的预测图进行深度监督.此方法不依赖于非极大值抑制,并且充分利用了目标的多尺度、多层次信息,在精细边缘图像的同时也提升了预测的准确性.实验结果显示,在未使用和使用形态学非极大值抑制方案的情况下,所提出的模型在BIPED数据集上的ODS、OIS、AP分别达到了0.891、0.895、0.900和0.894、0.899、0.931,优于所有比较算法.在MDBD的数据集上也取得了最优的结果.

基于多模态融合和卷积神经网络的逆变器故障诊断

电压源控制型静止同步补偿系统(Voltage source controlled static synchronous compensator,VSC-STATCOM)故障具有随机性和不可预测性,其原始信号难以完全反映功率开关管的波形特征,导致故障特征提取及诊断困难。针对此问题,提出一种结合多模态融合技术(Multi-modal fusion technology,MFT)、双分支卷积神经网络(Double branch convolution neural network,DBCNN)与自注意力机制(Self-attention mechanism,SA)的逆变器故障诊断的方法。首先,利用快速傅里叶变换实现逆变器故障数据的时域模态信号到频域模态信号的转换;然后,利用DBCNN分别提取时域和频域2个模态的特征并进行特征融合,再将利用SA权重自适应分配能力筛选出的关键特征作为故障分类的依据,解决功率开关管开路故障难以辨别的问题。在逆变器故障诊断过程中,采用MFT和卷积神经网络相结合的方法,建立了一种准确而快速的实现故障分类的体系。以VSC-STATCOM逆变器为对象开展实验,实验结果表明,与单模态时域(Convolutional neural network-self-attention mechanism)CNN-SA和频域CNN-SA方法相比,MFT-DBCNN-SA对故障诊断的准确率均有提高;不同相数的实验结果表明,利用该方法仅靠两相就能很好地诊断出故障类别。相较于同领域的研究,所提故障诊断方法的水平持平或有所提升。

基于双通道时频卷积神经网络的故障电弧检测

交流故障电弧产生的高温极易点燃周围的可燃材料,是引发电线火灾的重要原因之一.准确检测不同类型的故障电弧对于预防重大火灾事故的发生具有重要意义.然而故障电弧的复杂性与隐蔽性给检测方法带来了极大挑战.基于阈值和电流特征提取的技术难以全面概括故障电弧的特征,而大多数基于深度神经网络的方法直接对电流信号进行特征学习,忽略了信号中的频率信息,从而导致泛化能力差的问题.对此,本文提出了基于时频特征学习的双通道时频卷积神经网络的故障电弧识别方法,设计了可学习的自适应离散小波变换,用于提取一维信号中的多尺度特征,同时通过短时傅里叶变换获取二维的时频图像特征,分别在这2种特征信号上进行卷积,最后将2个通道中学习的特征进行融合,用于分类预测.通过对故障电弧发生器采集到的3种工况下电弧电流信号进行性能评估,验证所提方法的有效性.实验结果表明,该方法与其他同类方法相比具有更高的电弧识别准确率,达到了97.91%.

结合等变交叉正则化的轻量化双分支建筑物变化检测网络

空间细节信息和语义上下文信息在建筑物变化检测研究中扮演着至关重要的角色。然而,在当下主流的单分支网络架构中,同时获取这两种信息会面临计算成本和模型大小方面的严峻挑战。为应对这一挑战,本文提出一种全新的轻量化双分支网络架构用于高效特征提取,并引入等变交叉正则化模块以增强特征表达,从而实现精细化的建筑物变化检测。具体地,轻量化双分支网络架构由细节分支、语义分支和双信息交互融合模块组成,能同时高效地捕获空间细节信息和语义上下文信息,以生成细粒度的深度语义变化特征图;同时,等变交叉正则化模块从隐式监督角度出发,在不增加网络参数的前提下,从语义和空间层面对变化特征图进行一致性约束,从而提高网络在变化建筑物尺度和边缘上的感知能力;为了验证方法的有效性,本文选用现有优秀的轻量化和非轻量化变化检测网络作为对比方法,分别在WHU、LEVIR两个数据集上开展对比实验。结果表明,在仅需2.27 M参数和4.25 G浮点运算的轻量化前提下,本文方法在两个数据集上分别实现了87.03%、83.41%的交并比精度,综合性能显著优于现有的轻量化和非轻量化变化检测方法。研究成果有望为未来的轻量化建筑物变化检测研究提供科学参考。

基于局部-全局特征交互的双分支结肠息肉分割网络

大小、形状、颜色、纹理的多变性以及肠壁分界模糊给结肠息肉的分割带来巨大挑战.针对单分支网络连续采样操作造成部分细节信息丢失以及不同层次特征信息无法交互进而导致分割效果不佳的问题,提出一种基于局部-全局特征交互的双分支结肠息肉分割网络.网络采用CNN与Transformer双分支结构,逐层捕获息肉局部细节特征与全局语义特征;为充分利用不同层级、不同尺度特征信息的互补性,利用深层语义特征对浅层细节特征的引导与增强,设计特征协同交互模块,动态感知并聚合跨层次特征交互信息;为强化病变区域特征,抑制背景噪声,设计特征增强模块,应用空间与通道注意力机制强化息肉病变区域特征,同时采用结合注意力门的跳跃连接机制进一步突出边界信息,提高边缘区域的分割精度.实验表明,所提出网络在多个息肉分割数据集上取得的mDice与mIoU分数均优于基线网络,具有更高的分割准确率和稳定性.

面向模糊医学图像边缘检测的卷积网络

考虑到传统边缘检测算法难以处理模糊的医学图像,提出一种基于深度学习的边缘检测网络ECENet.首先,本文网络基于CHRNet模型,对其最后两层进行剪枝,使模型更加高效和轻量化.其次,在网络的特征提取阶段加入注意力模块SKSAM,优化图像特征的自适应提取,并降低噪声的影响.最后,在多尺度的网络输出上采用上下文感知融合块进行连接,帮助模型更好地理解图像的结构和语义信息.此外,综合考虑像素级别的准确性和边界的平滑性,优化了损失函数,为模型训练提供更好的梯度信号.实验结果表明:本文算法在最佳数据集规模(ODS)和最佳图像比例(OIS)指标分别提高到0.816和0.823;相关边缘指标参数显著提高,PSNR提高了16.8%,SSIM提高了37.6%.

基于双分支编码的闭环分割网络

Transformer模型中,卷积视觉转换器(CvT)具备同时提取图像的局部和全局特征的能力而受到关注.对于腹部器官分割问题,为了解决CNN模型分割目标边界轮廓模糊不清的问题,提出了一种新颖的基于CvT和CNN的双分支闭环分割模型DBLNet.模型利用形状先验和预测结果的分割轮廓显式监督并指导网络学习过程.模型包括:轮廓提取编码模块(CEE)、边界形状分割网络(BSSN)和闭环结构.CEE模块首次利用改造的3D CvT和3D门控卷积层(GCL)捕获多层级轮廓特征,并辅助BSSN训练.BSSN模块设计形状特征融合模块(SFF)同时捕获目标区域和轮廓特征,推动CEE训练拟合.闭环结构使得双分支的分割结果互相反馈并辅助对方的训练.DBLNet在BTCV排行榜上测试,平均Dice得分为0.878,排名第13位;在临床医院数据进行应用测试,表现出强大的性能.

基于双分支多尺度融合网络的毫米波SAR图像多目标语义分割方法

在毫米波合成孔径雷达(SAR)安检成像违禁品的检测与识别中,存在着目标尺寸过小、目标被部分遮挡和多目标之间重叠等复杂情况,不利于违禁品的准确识别。针对这些问题,提出了一种基于双分支多尺度融合网络(DBMFnet)的违禁品检测方法。该网络使用Encoder-Decoder的结构,在Encoder阶段,提出一种双分支并行特征提取网络(DBPFEN)来增强特征提取;在Decoder阶段,提出一种多尺度融合模块(MSFM)来提高对目标的检测能力。实验结果表明,该方法的均交并比(mIoU)均优于现有的语义分割方法,降低了漏检与错检率。

一种适用于轻量级网络的双分支融合注意力机制

注意力机制越来越受到关注,许多研究已经分别证明了通道注意力和空间注意力对于提升模型性能的有效性,但现有算法通常忽略了如何将这两种信息更好地结合起来。对此,通过将通道注意力、空间注意力和全局提取的特征信息有效结合,提出了一种新的移动网络注意力机制,称之为双分支融合注意力机制,并将双分支融合注意力机制应用到轻量级网络上进行实验。实验结果表明,引入双分支融合注意力机制的模型在CIFAR-100和ImageNet-100数据集上的准确率相较于原始模型均有明显提升,且浮点计算量和参数量并未显著增加。

双通道卷积神经网络在影像融合中的应用

利用Landsat8遥感卫星影像数据制作影像融合数据集,提出了一种双通道融合网络,并利用结果影像的质量指数对网络融合性能进行评估,分析与双三次卷积插值和GS影像融合方法的差异。结果表明,该网络加强了对高频空间信息的提取,在更高效提取空间特征的同时,减弱了融合过程中对多光谱影像光谱特征的影响,从而提高了融合影像的综合影像质量(QNR=0.8852)。

基于双分支融合策略的遥感建筑物提取轻量化网络

针对高分辨率遥感影像建筑物提取时带来的庞大参数与计算量的问题,文章提出了双分支策略融合的轻量化语义分割网络。网络包含全局特征信息提取分支和空间信息提取分支。双分支共享图像底层特征,全局特征信息提取分支连续利用mobileNetV2中的反向瓶颈残差块结构提取特征,并利用空洞空间金字塔池化模块融合多尺度特征;空间信息提取分支添加卷积块注意力模块,更关注待分割区域的细节特征,实现精细化特征融合。最后将双分支特征融合,利用双线性插值上采样恢复图像大小。将文章模型在WHU建筑物影像数据集上进行实验,正确提取建筑物准确度可达92.09%,IoU达86.28%,模型参数大小仅为1.19 M,保证了建筑物提取精度的同时达到了轻量化预期。

基于双分支多尺度残差融合嵌套的SAR和多光谱图像融合架构与实验

基于深度学习融合合成孔径雷达(SAR)和多光谱(MS)图像的方法主要通过增加卷积层数量描述网络模型尺度,但未能提高算法对不同尺度空间细节特征的提取能力。该文设计双分支的多尺度残差融合嵌套连接网络架构(Double-branch Multiscale Residual-fusion Nested-connections Net,DMRN-Net),将融合任务划分为细节提升和光谱保持两部分:在细节提升分路中,将SAR和MS图像中的高频信息分别经过多深度特征提取层、多尺度残差融合网络层及嵌套连接解码器得到重建图像;在光谱保持分路中,通过融合上采样后的MS图像和细节提升分路结果,将光谱信息注入融合图像中,从而得出融合结果。通过DMRN-Net和传统算法以及普通双分支网络的对比实验表明,DMRN-Net在主观判断和客观评价上均取得较好的融合结果,能在保持光谱信息的基础上,进一步增加图像的空间细节信息,验证了DMRN-Net在图像融合领域的重要价值。

基于轻量化卷积神经网络的纬编针织物组织结构分类

为解决纬编针织物组织结构自动分类时现有方法计算量偏大的问题,基于轻量化卷积神经网络,提出了一种改进的纬编针织物组织结构分类方法。采集纬编针织物组织双面的图像,以准确判断其结构类型。在特征提取步骤中,引入了注意力机制模块,修正各个层次特征在通道域和空间域的权重。构建的双分支网络架构能并行提取织物双面的特征信息。在分类阶段,采用了串行策略来融合高维特征向量,以确定纬编针织物组织所属类别。使用准确率、宏精确率、宏召回率以及宏F_(1)评估模型的性能,并统计了参数量和计算复杂度衡量模型的资源消耗。实验结果显示,对于纬编针织物特殊的结构特点,双分支网络架构具有很好的适应性。改进后的模型增强了不同组织间的特征区分度,在受到角度旋转、尺度改变、光照条件变化等干扰下,本文方法的分类准确率可达99.51%,且保持了较小的资源消耗。

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有壁画深度学习修复方法,存在上下文信息关注不足及结果欠佳的问题,提出了一种多层次特征融合与超图卷积的生成对抗修复模型。首先,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,以克服单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征方法,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,以提高特征信息的利用率;并引入门控机制对特征进行选择融合,以减少细节信息的丢失。接着,将融合特征通过卷积长短期记忆网络(ConvLSTM)特征注意力方法,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积捕获编码器的空间特征信息,并将其迁移到解码器中,有助于解码器更好地生成壁画图像,以加强特征的长程依赖关系,并与SN-PatchGAN判别器对抗博弈从而完成修复。通过敦煌壁画数字化修复实验,结果表明:所提方法客观评价优于对比算法,对于破损壁画修复结果更加清晰自然。