面向交通流预测的双分支时空图卷积神经网络

针对目前交通流预测中未充分考虑到交通流量与密度、交通流量与速度之间的关联性特征信息,以及忽略多尺度时间特征的问题,提出了一种面向交通流预测的双分支时空图卷积神经网络。首先,依据交通数据的周期性,将交通数据划分为近期与周期两种时间粒度的数据输入;其次,在每个输入分支中,先通过关联性门控线性单元(AGLU)提取流量与密度、流量与速度之间的关联性特征信息;然后,通过图卷积层和多尺度时间卷积层提取关联性特征中的空间与时间上下文信息,并采用预测卷积层输出近期、周期双分支预测结果;最后,通过门控机制融合预测结果,从而实现交通流量的准确预测。实验结果表明,所提模型在交通流预测准确性与稳定性方面整体优于其他模型。

基于散射点拓扑和双分支卷积神经网络的SAR图像小样本舰船分类

随着合成孔径雷达(SAR)图像在舰船检测和识别领域的广泛应用,准确而高效地进行舰船分类已经成为一个亟待解决的问题。在小样本学习场景下,一般的方法面临着泛化能力不足的问题,因此该文引入了额外的信息和特征,旨在增加模型对目标的理解和泛化能力。该文通过散射关键点构建拓扑结构以表征舰船目标的结构和形状特征,并计算拓扑结构的拉普拉斯矩阵,将散射点之间的拓扑关系转化为矩阵形式,最后将SAR图像和拉普拉斯矩阵分别作为双分支网络的输入进行特征提取。在网络结构方面,该文设计了一个由两个独立的卷积分支组成的双分支卷积神经网络,分别负责处理视觉特征和拓扑特征,并用两个交叉融合注意力模块分别对两个分支的特征进行交互融合。该方法有效地将目标散射点拓扑关系与网络的自动学习过程相结合,从而增强模型的泛化能力并提高分类精度。实验结果表明,在OpenSARShip数据集上,所提方法在1-shot和5-shot任务的平均准确率分别为53.80%和73.00%。而在FUSAR-Ship数据集上,所提方法分别取得了54.44%和71.36%的平均准确率。所提方法在1-shot和5-shot的设置下相比基础方法准确率均提升超过15%,证明了散射点拓扑的应用对SAR图像小样本舰船分类的有效性。

基于双分支卷积神经网络的弱光图像显著性目标识别研究

图像的亮度和对比度通常较低,使得目标信息变得模糊不清,增加识别的难度。针对传统识别方法面对多个显著性目标识别不准确的问题,提出基于双分支卷积神经网络的弱光图像显著性目标识别方法。针对弱光图像实施图像灰度化处理和去噪处理。增强弱光图像,调节弱光问题,利用双分支卷积神经网络,提取弱光图像显著性目标特征。实验结果表明:所研究方法应用下,无论图像中存在几个显著性目标,Kappa值均在0.8以上,准确性较高。

基于轻量化卷积神经网络的纬编针织物组织结构分类

为解决纬编针织物组织结构自动分类时现有方法计算量偏大的问题,基于轻量化卷积神经网络,提出了一种改进的纬编针织物组织结构分类方法。采集纬编针织物组织双面的图像,以准确判断其结构类型。在特征提取步骤中,引入了注意力机制模块,修正各个层次特征在通道域和空间域的权重。构建的双分支网络架构能并行提取织物双面的特征信息。在分类阶段,采用了串行策略来融合高维特征向量,以确定纬编针织物组织所属类别。使用准确率、宏精确率、宏召回率以及宏F_(1)评估模型的性能,并统计了参数量和计算复杂度衡量模型的资源消耗。实验结果显示,对于纬编针织物特殊的结构特点,双分支网络架构具有很好的适应性。改进后的模型增强了不同组织间的特征区分度,在受到角度旋转、尺度改变、光照条件变化等干扰下,本文方法的分类准确率可达99.51%,且保持了较小的资源消耗。

基于多模态融合和卷积神经网络的逆变器故障诊断

电压源控制型静止同步补偿系统(Voltage source controlled static synchronous compensator,VSC-STATCOM)故障具有随机性和不可预测性,其原始信号难以完全反映功率开关管的波形特征,导致故障特征提取及诊断困难。针对此问题,提出一种结合多模态融合技术(Multi-modal fusion technology,MFT)、双分支卷积神经网络(Double branch convolution neural network,DBCNN)与自注意力机制(Self-attention mechanism,SA)的逆变器故障诊断的方法。首先,利用快速傅里叶变换实现逆变器故障数据的时域模态信号到频域模态信号的转换;然后,利用DBCNN分别提取时域和频域2个模态的特征并进行特征融合,再将利用SA权重自适应分配能力筛选出的关键特征作为故障分类的依据,解决功率开关管开路故障难以辨别的问题。在逆变器故障诊断过程中,采用MFT和卷积神经网络相结合的方法,建立了一种准确而快速的实现故障分类的体系。以VSC-STATCOM逆变器为对象开展实验,实验结果表明,与单模态时域(Convolutional neural network-self-attention mechanism)CNN-SA和频域CNN-SA方法相比,MFT-DBCNN-SA对故障诊断的准确率均有提高;不同相数的实验结果表明,利用该方法仅靠两相就能很好地诊断出故障类别。相较于同领域的研究,所提故障诊断方法的水平持平或有所提升。

基于双分支卷积神经网络的红外与可见光图像局部融合算法

红外图像和可见光图像均存在一定的局限性,依靠单个种类图像无法满足工程实际需求,可通过引入图像融合技术,获取高质量的融合图像。为更好保障输出信息特征的多样性,本文引入一种双分支卷积神经网络实现红外与可见光图像局部融合;在双分支卷积神经网络基础上,同时从红外图像、可见光图像得到跨渠道信息、渠道内信息种特征,增加了融合图像的信息量。采用整数小波变换方法进行图像压缩。建立颜色空间模型时,合理调节t因子的数值,获得理想的融合图像。实验结果表明,与现有方法相比,本方法融合后图像边缘信息得到充分保留,图像细节得到增强,红外与可见光图像融合效果更好。

基于非对称双分支交互神经网络的水下生物识别

针对水底环境存在着可见度低、光照条件差、物种间特征差异不明显等问题,基于卷积神经网络,提出了一种新的非对称双分支水下生物分类模型。模型中交互分支利用不同的卷积神经网络中间层提取局部特征并通过交互模块对局部特征进行交互,增强分类模型的局部特征学习能力;卷积神经网络分支可以有效地学习到目标的全局特征,弥补交互分支中忽略的全局信息。在Fish4-Knowledge(F4K)、Eilat、RAMAS三个数据集上取得了98.9%、98.3%、97.9%的准确率,较前人方法有显著提高;视觉解释也验证了该模型可以有效地捕捉到局部特征并消除背景影响。最终显示,该模型在水下环境具有良好的分类性能。

基于双分支特征聚合网络的车辆检测算法

车辆目标检测是自动驾驶的重要环节,现有的车辆目标检测算法在特征提取方面没有充分考虑卷积神经网络(convolutional neural network,CNN)和Transformer各自的优缺点,一定程度上限制了网络的整体性能。提出了一种由CNN和Transformer组成的双分支特征聚合网络。在编码阶段,基于CNN和Transformer各自的优势,构建了双分支主干网络来提取原始图像的特征信息;通过设计的多级别空间注意力模块和双支路特征聚合模块,使两个分支间的特征信息相互引导学习;通过构建的双分支注意力模块来进一步减少深层神经网络中特征信息的丢失。在实验部分通过消融实验和对比实验进一步验证了所提算法的有效性,其相比主流的目标检测算法,在mAP(mean average precision)指标上提升了约3.5%。

基于局部-全局特征交互的双分支结肠息肉分割网络

大小、形状、颜色、纹理的多变性以及肠壁分界模糊给结肠息肉的分割带来巨大挑战.针对单分支网络连续采样操作造成部分细节信息丢失以及不同层次特征信息无法交互进而导致分割效果不佳的问题,提出一种基于局部-全局特征交互的双分支结肠息肉分割网络.网络采用CNN与Transformer双分支结构,逐层捕获息肉局部细节特征与全局语义特征;为充分利用不同层级、不同尺度特征信息的互补性,利用深层语义特征对浅层细节特征的引导与增强,设计特征协同交互模块,动态感知并聚合跨层次特征交互信息;为强化病变区域特征,抑制背景噪声,设计特征增强模块,应用空间与通道注意力机制强化息肉病变区域特征,同时采用结合注意力门的跳跃连接机制进一步突出边界信息,提高边缘区域的分割精度.实验表明,所提出网络在多个息肉分割数据集上取得的mDice与mIoU分数均优于基线网络,具有更高的分割准确率和稳定性.

基于时空双分支网络的行为检测与识别技术研究

针对传统行为识别方法难以适应复杂的电厂环境,且未充分利用监控视频的时序信息等问题,提出了一种基于时空双分支网络的行为检测与识别技术。该技术利用时空双分支网络提取图像特征,分别基于卷积神经网络、循环神经网络获取图像的空域及时域特征,且使用混合组卷积与横向连接完成特征融合。同时将融合特征作为Softmax分类函数的输入,并经过分数计算得到行为类型。以某电厂的视频监控数据集为样本进行的实验分析结果表明,所提技术方案的行为识别准确率高达94%,且收敛速度快,优于其他对比技术,能够有效解决电厂的行为检测与识别问题。

双分支网络架构下的图像相似度学习

图像相似度学习是指通过网络学习图像内容信息来预测两张图像是否匹配。迄今为止,基于卷积神经网络改进的变体网络有效提升了学习效率,但由于提取特征比较单一无法准确描述图像特征,导致相似度学习效率较低。为此,本文提出一种基于卷积神经网络结构的双分支网络。该网络为左右分支网络结构相同,但权值不共享,网络输入为双分支输入。首先由左右分支网络分别提取单通道图像特征;然后通过特征融合层进行特征融合;最后将融合特征直接输入全连接层进行相似度学习,既改善了提取的图像特征多样性,又加快了模型训练速度。在实验室工业相机拍摄的芯片卡槽图像数据集上进行对比试验,结果表明,相比其他模型,本文提出的模型具有较强的网络学习能力和模型泛化能力,准确率高达97.96%。

基于注意机制的双分支黑烟车辆检测网络

当前交通道路中,存在许多有毒尾气排放超标的车辆,严重污染空气、损害人体健康。目前黑烟车辆检测多采用人工方法或者基于手工特征提取的传统机器学习方法,耗力耗时且难以全面实时监控。论文率先将基于卷积神经网络的目标检测框架CenterNet作为视频监控交通场景下黑烟车辆检测的基本解决方案,并针对实验结果进一步改进上述结构,提出基于注意机制的双分支黑烟车辆检测网络,使用双主干网络提取有针对性的特征表示,对于双主干网络的特征融合引入注意机制。实验结果表明,在黑烟车辆数据集下的AP达到黑烟92.53、车辆97.84,相较CenterNet算法分别提升了2.86、5.7。

双分支网络的苹果叶部病害识别

由于复杂背景环境和病斑相似性的影响,苹果叶部病害特征间存在细微的类间差异以及较大的类内差距,给苹果叶部病害识别造成极大困难。针对以上问题,提出了一种新型双分支网络的苹果叶部病害识别方法(DBNet)。DBNet的双分支网络结构由多尺度联合分支(MS)以及多维度注意力分支(DA)构成。首先多尺度联合分支通过不同类型卷积核和跨层连接融合不同尺度层级间的病害特征,用于缓解复杂背景环境带来的不利影响。同时多维度注意力分支通过融合宽、高、通道三个不同维度的注意力,使网络关注病斑间的微小差异,并随着网络层数的加深自动改变三个维度注意力所占比重,该分支用于缓解部分病斑相似性带来的不利影响。最终DBNet将双分支网络提取到的多尺度特征和多维度特征进行融合。并在苹果叶部病害数据集上,与AlexNet、VGG-16、ResNet-50、B-CNN等模型进行实验对比,结果显示所提方法能够有效地提升识别精度。

基于双分支卷积和注意力机制的无参考图像质量评估

无参考图像质量评估不需要原始参考图像即可预测失真图像的质量,在图像识别及视频通话等领域有诸多应用价值。为了提升无参考图像质量评估的准确率,提出了基于双分支卷积神经网络和注意力机制的图像质量评估方法。该方法分别从空间域和梯度域提取特征并进行特征融合,与此同时在卷积神经网络中引入注意力模块,提取更有效、更丰富的失真特征。实验结果表明,在图像质量评估数据集Koniq-10k上PLCC指数和SRCC指数分别为0.945和0.928,提高了图像质量评估准确率。

双分支迭代的深度增量图像分类方法

针对深度增量学习可能产生灾难性遗忘的问题,提出双分支迭代的深度增量图像分类方法,使用主网络存储旧类知识,分支网络学习增量数据中的新类知识,并在增量过程中使用主网络的权重优化分支网络的参数.使用基于密度峰值聚类的方法从迭代数据集中筛选典型样本并构建保留集,并加入增量迭代训练中,减轻灾难性遗忘.实验表明,文中方法的性能较优.

结合自注意力与卷积神经网络的腺体及息肉分割方法

腺体和息肉的自动分割是人工智能辅助结直肠腺癌诊断的基础,但医学图像中的分割目标大小、形状多变,基于单一的卷积神经网络的自动分割方法已陷入瓶颈。基于此,提出了一种卷积神经网络和自注意力相结合的双分支网络(LG UNet),用以提升分割的精度。首先,基于U-Net设计了Local UNet分支,利用卷积神经网络的优势,学习分割目标的局部信息。然后在Global Transformer分支中,利用Transformer全局依赖关系的学习能力来优化分割细节。最后在编码过程中通过交叉融合模块将Local分支和Global分支的特征图进行融合,将两者优势互补。在腺体分割挑战数据集Glas的两个测试子集Test A和Test B上,以Dice系数和交并比(IOU)系数为主要评价指标,LG UNet的测试结果分别为93.62%、88.44%和88.17%、80.49%。在息肉分割数据集Kvasir-SEG上,LG UNet的Dice系数和IOU系数分别为85.63%和77.82%。实验结果表明,结合Transformer和卷积神经网络优势的LG UNet在腺体和息肉分割上取得了更好的性能。

基于双分支卷积神经网络结构和多注意力机制的输电线路状态识别方法

针对输电线路运行状态实时监测问题,提出了一种以双分支卷积神经网络(CNN)结构为框架,融合多注意力机制的深度学习模型。时序分支利用一维卷积神经网络(1DCNN)提取振动信号的时域特征;图像分支使用连续小波变换(CWT)将振动信号转换为二维时频图像,利用二维卷积神经网络(2DCNN)提取图像的时频特征。加入通道和分支注意力机制增强模型对关键特征信息进行挖掘,避免特征冗余。使用基于相位敏感的光时域反射(Φ-OTDR)系统采集了输电线路在不同运行状态下的振动数据。实验结果表明,所提方法的识别准确率达到了94.92%,与单分支网络、1DCNNLSTM等5种深度学习模型以及传统机器学习方法相比,所提方法有着更加优越的性能。

基于自适应卷积的心电图心律分类方法

针对网络轻量化后,模型复杂度降低带来的检测性能不足等问题,提出一种基于自适应卷积的心电图(ECG)心律分类方法。首先,采用轻量级的卷积神经网络模型框架构建双分支结构,主分支提取ECG的波形特征,子分支提取ECG样本与正常心律的差异信息;然后,通过自适应卷积的方法,将ECG样本与正常心律的差异信息融入到主分支中,提高模型的检测性能;最后,在公开的数据集上进行实验,F1分数、准确率、召回率分别为93.58%、95.53%和91.70%,相较于未加入ECG样本与正常心律的差异信息的网络有明显提升,验证了该方法的有效性。

基于LK-3DCNN网络特征的高光谱遥感图像分类算法

传统的高光谱图像分类方法均采用手工提取特征的方式,其表达能力有限,不能满足分类任务的高精度需求。因此,提出一种基于LK-3D卷积神经网络(Convolutional Neural Network,CNN)特征的高光谱遥感图像分类算法。该算法结合空洞卷积和三维卷积神经网络的双分支融合结构,对遥感图像进行深度特征提取,有利于提升小样本高光谱遥感图像数据分类的性能。在公开的3组高光谱遥感图像数据集上,与主成分分析(Principal Components Analysis,PCA)+3DCNN、PCA+3D-2DCNN算法进行对比,实验结果表明所提出的双分支融合网络提升了高光谱遥感图像的分类精度,具有较好的鲁棒性。

双分支特征提取与循环细化的动态场景去模糊

针对现有的动态场景图像去模糊方法存在的特征提取不准确、未充分利用有效特征的问题,本文提出了一种基于双分支特征提取与循环细化的动态场景图像去模糊网络。整个网络包括特征提取网络、循环细化网络(cyclic refinement network,CRN)、图像重建(image reconstruction,IR)3部分。其中,特征提取网络包括模糊图像细节和轮廓特征(contour feature,CF)的提取,以残差单元作为特征提取网络的基本单元;循环细化网络通过交替融合轮廓特征和细节特征(detail feature,DF)来细化特征图,得到模糊图像的细化特征(refinement feature,RF);最后,在图像重建阶段,复用轮廓和细节特征,结合残差学习策略将轮廓特征、细节特征和细化后的特征逐级融合后通过非线性映射的方式重建清晰图像。在广泛使用的动态场景模糊数据集GOPRO上的实验结果表明,该方法的平均峰值信噪比(peak signal to noise ratio,PSNR)达到31.86,平均结构相似度(structure similarity,SSIM)达到0.9473,所提方法复原的图像包含丰富细节,具有更好的去模糊效果,在客观评价指标和主观视觉效果上均优于对比方法。