一种基于双分支注意力神经网络的皮肤癌检测框架

皮肤癌是一种主要的癌症,在过去几十年中快速增长,早期发现可以极大提高治愈率。近年来,基于皮肤镜图像利用深度学习模型(尤其是各种卷积神经网络)对皮肤癌进行识别和分类获得了广泛应用。但是与传统的图像识别分类不同,皮肤病检测任务存在数据不平衡、类间差异性小以及皮损面积占比少等方面的挑战。为此,本研究提出一种基于双分支注意力卷积神经网络(DACNN)皮肤癌分类框架。在数据预处理阶段,根据更细粒度的皮肤病类别,对数据集进行分解,降低数据不平衡程度。从网络结构上,上分支网络利用注意力残差学习(ARL)模块有效提取潜在的病变区域特征,接着利用损伤定位网络(LLN)模块定位病变区域。对其裁剪放大输入由ARL构成的下分支网络,进行局部细节的特征提取,然后结合上下分支网络的特征,进行有效的识别。最后,为了进一步缓解数据不平衡问题,在训练阶段中采用加权损失函数。在包含10015张皮肤镜图像数据集上,对所提出的DACNN模型与几种典型的皮肤病变检测框架进行了实验验证和比较。结果表明,DACNN皮肤癌变检测框架的Sensitivity、Accuracy和F1_score等性能指标分别达到了0.922、0.942和0.933,与已有的递归注意力卷积神经网络模型RACNN相比,以上3个指标分别提升了3.48%、2.95%和3.44%。总之,对于各类图像数不平衡,类间图像差异性小以及皮损面积占比少的皮肤镜图像而言,采用适当的类分解,以及双分支注意力神经网络结构首先对潜在的病变区域进行定位放大,然后进行局部细节的特征提取,能够极大的提高皮肤癌的检测准确度。

基于双分支注意力U-Net的语音增强方法

针对语音增强网络对全局语音相关特征提取困难、对语音局部上下文信息的捕捉效果不佳的问题,提出了一种基于双分支注意力U-Net的时域语音增强方法,该方法使用U-Net编码器-解码器结构,将单通道带噪语音经过一维卷积后得到的高维时域特征作为输入。首先利用残差连接设计了基于Conformer的残差卷积来增强网络降噪的能力。其次设计了双分支注意力机制结构,利用全局和局部注意力获取带噪语音中更丰富的上下文信息,同时有效表示长序列特征,提取更多样的特征信息。最后结合时域频域损失函数构建了加权损失函数对网络进行训练,提高网络的语音增强性能。使用了多个指标对增强语音的质量和可懂度等进行评价,在公开数据集Voice Bank+DEMAND上的增强后的语音感知质量(PESQ)为3.11,短时可懂度(STOI)为95%,信号失真度(CSIG)为4.44,噪声失真测(CBAK)为3.60,综合质量测度(COVL)为3.81,其中PESQ相较于SE-Conformer提高了7.6%,相较于TSTNN提高了5.1%。实验结果表明,所提方法在语音降噪的各个指标都表现出更优的实验结果,能够完成语音增强任务的相关要求。

双分支结构的多层级三维点云补全

为了缓解现有点云补全方法在特征提取过程中很难平衡局部特征和全局特征的问题,提出了一种双分支结构的多层级点云补全算法。利用两个独立的分支网络分别提取出输入点云的局部特征信息和全局特征信息,再将两种特征信息进行拼接形成特征向量。使用五层联合感知机将特征向量映射成多个维度,进而提取多维特征信息并将其整合成最终特征向量。采用金字塔结构在256、512、1024特征维度上对最终特征向量进行特征解码,预测三种不同分辨率的点云。引入鉴别器网络,通过联合训练鉴别器产生的对抗损失和分层重建点云产生的补全损失去优化网络。在ShapeNet数据集上进行实验,算法显著提升了点云补全精度,并且在缺失大面积点云时也能恢复出较为完善的物体形状。

基于各向异性注意力的双分支血管分割模型

血管分割对于血管疾病的诊断和治疗具有重要意义,但由于血管边界模糊、病变血管的形状多变且不同样本之间的差异性较大,因此要求分割模型能够准确地挖掘血管与背景类间的差异性以及血管内部的连通性。提出一种基于中心线约束与各向异性注意力的新型三维血管分割网络CAU-Net。针对血管分割的难点,对基础网络结构ResU-Net进行改进,构建各向异性注意力模块,该模块根据管腔结构特有的空间各向异性,从3个方向提取血管空间各向异性特征,并对特征通道间的相关性进行建模,学习血管的三维空间信息。采用主-辅双分支模型,b-Net对血管进行语义分割,a-Net学习血管中心线的连续性特征,约束b-Net的血管分割结果,保证血管分割结果的完整性。在公开数据集3D-IRCADb-01上的实验结果表明,对于门静脉及肝静脉的分割,CAU-Net分别取得(74.80±8.05)%和(76.14±6.89)%的Dice系数、(54.80±8.09)%和(50.40±5.22)%的NSD系数、(72.43±8.26)%和(70.84±6.05)%的clDice系数、(46.47±12.89)%和(39.19±7.97)%的分支检测率以及(67.08±15.59)%和(61.47±9.32)%的树长检测率。在公开脑血管数据集IXI上进行组件消融实验,模型在验证集上的平均Dice、NSD、clDice、BD和TD分别为(94.11±0.39)%、(96.53±0.37)%、(95.83±0.59)%、(98.64±1.63)%和(95.44±1.22)%,相比于Baseline分别提升了0.92%、0.82%、0.92%、1.11%和1.60%。CAU-Net血管分割模型能够显著提升血管分割的精度和完整度。

基于双分支卷积网络的玉米叶片叶绿素含量高光谱和多光谱协同反演

针对智慧农业中叶绿素的精准预测问题,本文提出了基于双分支网络的玉米叶片叶绿素含量高光谱与多光谱协同反演的方法。使用欠完备自编码器进行数据降维,捕捉数据中最为显著的特征,使降维后的数据可以代替原始数据进行训练,从而加快训练效率,使用双分支卷积网络将多光谱数据用于填充高光谱数据信息,充分利用高光谱数据的空间细节信息,再结合1DCNN建立玉米叶片叶绿素含量预测模型。结果表明,与传统降维算法相比较,欠完备自编码器处理后预测结果最佳,决定系数R2为0.988,均方根误差(RMSE)为0.273,表明使用欠完备自编码器进行降维可以有效提高数据反演精度;与单一的高光谱数据反演模型和多光谱数据反演模型相比,双分支卷积网络预测模型均取得较优的预测结果,R2在0.932以上,RMSE均在1.765以下,表明基于双分支卷积网络的高光谱与多光谱图像协同反演模型可以有效地利用数据的特征;对于其他数据结合本文提及的双分支卷积网络模型进行反演,其R2均在0.905以上,RMSE均在2.149以下,表明该预测模型具有一定的普适性。

基于散射点拓扑和双分支卷积神经网络的SAR图像小样本舰船分类

随着合成孔径雷达(SAR)图像在舰船检测和识别领域的广泛应用,准确而高效地进行舰船分类已经成为一个亟待解决的问题。在小样本学习场景下,一般的方法面临着泛化能力不足的问题,因此该文引入了额外的信息和特征,旨在增加模型对目标的理解和泛化能力。该文通过散射关键点构建拓扑结构以表征舰船目标的结构和形状特征,并计算拓扑结构的拉普拉斯矩阵,将散射点之间的拓扑关系转化为矩阵形式,最后将SAR图像和拉普拉斯矩阵分别作为双分支网络的输入进行特征提取。在网络结构方面,该文设计了一个由两个独立的卷积分支组成的双分支卷积神经网络,分别负责处理视觉特征和拓扑特征,并用两个交叉融合注意力模块分别对两个分支的特征进行交互融合。该方法有效地将目标散射点拓扑关系与网络的自动学习过程相结合,从而增强模型的泛化能力并提高分类精度。实验结果表明,在OpenSARShip数据集上,所提方法在1-shot和5-shot任务的平均准确率分别为53.80%和73.00%。而在FUSAR-Ship数据集上,所提方法分别取得了54.44%和71.36%的平均准确率。所提方法在1-shot和5-shot的设置下相比基础方法准确率均提升超过15%,证明了散射点拓扑的应用对SAR图像小样本舰船分类的有效性。

基于无人船的双分支解码轻量型分割网络研究

为保证水面无人艇(USVs)进行水上任务时能够顺利航行,需要对河道信息进行精确的提取,因此,对河道语义分割的网络模型进行了研究。针对河道图像分割中类间不一致和类内不一致的问题,文中提出了分割网络DBDL-Net,网络中设计双分支解码结构和双重损失函数,分别把握语义信息和空间信息;同时在编码部分设计了多尺度残差的轻量模块,一方面减少参数,一方面以不同的比例捕捉特征信息。最后在USVIn-land数据集上对模型进行消融和对比实验,实验结果表明:DBDL-Net的精确度和平均交并比最终达到了93.619%和87.682%,与其他先进分割网络相比,DBDL-Net也具有更佳的综合表现。

基于局部-全局特征交互的双分支结肠息肉分割网络

大小、形状、颜色、纹理的多变性以及肠壁分界模糊给结肠息肉的分割带来巨大挑战.针对单分支网络连续采样操作造成部分细节信息丢失以及不同层次特征信息无法交互进而导致分割效果不佳的问题,提出一种基于局部-全局特征交互的双分支结肠息肉分割网络.网络采用CNN与Transformer双分支结构,逐层捕获息肉局部细节特征与全局语义特征;为充分利用不同层级、不同尺度特征信息的互补性,利用深层语义特征对浅层细节特征的引导与增强,设计特征协同交互模块,动态感知并聚合跨层次特征交互信息;为强化病变区域特征,抑制背景噪声,设计特征增强模块,应用空间与通道注意力机制强化息肉病变区域特征,同时采用结合注意力门的跳跃连接机制进一步突出边界信息,提高边缘区域的分割精度.实验表明,所提出网络在多个息肉分割数据集上取得的mDice与mIoU分数均优于基线网络,具有更高的分割准确率和稳定性.

基于双分支自注意力的密集人群计数算法

及时、准确的进行人流监控及预警是公共安全管理的迫切需求,使用基于计算机视觉的人群计数方法是满足该需求的主要方法之一。针对现有计数模型对人员前景特征和背景特征的关联不够的问题,设计基于双分支自注意力机制的密集人群计数算法。在视觉主干网络之后使用双分支自注意力模块,以促使网络关注有效的人员区域,提升主干网络的特征精炼能力。在Shanghai Tech PART B和UCF-QNRF数据集上进行大量的实验,消融实验的结果证明所提出的模块提升了人群计数的准确性。此外,实验结果表明所提出方法获得比其他经典方法更好的实验结果。

结合稠密小波变换的双分支低照度图像增强

针对低照度图像存在低亮度、高噪声、色彩失真等问题,提出了一种结合稠密小波变换的双分支低照度图像增强方法。采用稠密小波网络进行多尺度特征信息融合,在减少信息丢失的同时使网络具有一定的去噪能力。在多尺度特征融合中嵌入全局注意力模块和特征提取模块,充分提取全局和局部特征。通过双分支结构对图像进行色彩增强和细节重建,使得低照度图像具有较好的增强效果。引入了新的联合损失函数从多方面指导网络训练,以增强网络性能。将所提方法与主流方法相比较,实验结果充分表明,所提方法有效提高了低照度图像的亮度,抑制了图像噪声,并取得了更丰富的细节和色彩信息,得到的增强图像更清晰自然,在峰值信噪比和结构相似度等图像质量客观评价指标方面也具有显著的优势。

融合双分支动态偏好的会话推荐

针对基于会话的推荐算法仅对用户单一偏好进行静态建模而无法捕捉用户受环境影响偏好产生的波动,从而降低推荐准确性的问题.提出融合双分支动态偏好的会话推荐方法:首先,通过异构超图来建模不同类型信息,设计双分支聚合机制获取以及整合异构超图中信息并且学习多类型节点之间的关系,再用价格嵌入增强器来加强类别和价格之间关系;其次,设计双层偏好编码器,其中采用多尺度时序Transformer提取用户动态价格偏好,利用软注意机制和反向位置编码学习用户动态兴趣偏好;最后,用门控机制融合用户多类型动态偏好,向用户进行推荐.通过在Cosmetics和Diginetica-buy两个数据集上进行实验,结果证明与其他对比算法相比在Precision和MRR评价指标中有显著的提升.

基于双分支编码的闭环分割网络

Transformer模型中,卷积视觉转换器(CvT)具备同时提取图像的局部和全局特征的能力而受到关注.对于腹部器官分割问题,为了解决CNN模型分割目标边界轮廓模糊不清的问题,提出了一种新颖的基于CvT和CNN的双分支闭环分割模型DBLNet.模型利用形状先验和预测结果的分割轮廓显式监督并指导网络学习过程.模型包括:轮廓提取编码模块(CEE)、边界形状分割网络(BSSN)和闭环结构.CEE模块首次利用改造的3D CvT和3D门控卷积层(GCL)捕获多层级轮廓特征,并辅助BSSN训练.BSSN模块设计形状特征融合模块(SFF)同时捕获目标区域和轮廓特征,推动CEE训练拟合.闭环结构使得双分支的分割结果互相反馈并辅助对方的训练.DBLNet在BTCV排行榜上测试,平均Dice得分为0.878,排名第13位;在临床医院数据进行应用测试,表现出强大的性能.

基于注意力机制的双分支肺炎图像分类网络

目前许多肺炎图像分类网络大多采用单分支网络对输入图像进行特征提取,这在一定程度上忽略了图像不同维度的特征信息。为了优化这种问题,提出一种融入注意力机制的双分支肺炎图像分类网络,利用VGG16网络和加入可分离卷积以及融入卷积注意力模块(convolution block attention module,CBAM)的CNN卷积神经网络进行双分支特征提取,能够关注到肺炎图像不同层次的特征信息,将2种网络分支的特征进行不同维度的融合,最后输入全连接层进行分类判决。结果表明,该网络在正常肺部、病毒性肺炎、新型冠状病毒肺炎(COVID-19)X-ray图像组成的测试集上取得了95%的平均准确率。经过消融试验证明,该网络加入的可分离卷积模块、注意力模块和特征融合对减少网络参数、提高网络分类的准确率起到明显作用。与其他网络的性能对比也表明该网络在肺炎图像分类上表现出较高的准确率和较强的鲁棒性。

基于双分支多尺度残差融合嵌套的SAR和多光谱图像融合架构与实验

基于深度学习融合合成孔径雷达(SAR)和多光谱(MS)图像的方法主要通过增加卷积层数量描述网络模型尺度,但未能提高算法对不同尺度空间细节特征的提取能力。该文设计双分支的多尺度残差融合嵌套连接网络架构(Double-branch Multiscale Residual-fusion Nested-connections Net,DMRN-Net),将融合任务划分为细节提升和光谱保持两部分:在细节提升分路中,将SAR和MS图像中的高频信息分别经过多深度特征提取层、多尺度残差融合网络层及嵌套连接解码器得到重建图像;在光谱保持分路中,通过融合上采样后的MS图像和细节提升分路结果,将光谱信息注入融合图像中,从而得出融合结果。通过DMRN-Net和传统算法以及普通双分支网络的对比实验表明,DMRN-Net在主观判断和客观评价上均取得较好的融合结果,能在保持光谱信息的基础上,进一步增加图像的空间细节信息,验证了DMRN-Net在图像融合领域的重要价值。

双分支跨级特征融合的自然场景文本检测

现有的场景文本检测方法在处理任意形状文本时,由于复杂背景的影响会造成文本区域定位不准确、相邻文本漏检误检的问题,基于此提出一种双分支跨级特征融合的自然场景文本检测方法。首先,以Resnet50为主干网络提取初始特征,设计跨级特征分布增强模块(cross-level feature distribution enhancement module,CFDEM),增强跨级特征文本信息的交互性,提高特征的表达能力;然后,为自适应地选择过滤非文本或冗余特征,降低误检率和漏检率,提出自适应融合策略(adaptive fusion strategy,AFS),利用双分支结构加强不同维度特征之间的联系,优化融合过程;最后,预测阶段采用可微分二值化的方法来生成文本检测结果。所提方法在ICDAR2015、ICDAR2017、Total-Text、CTW1500数据集上进行消融实验,实验结果表明该方法能准确定位文本区域,克服文本漏检误检影响。

一种双分支结构的图像语义分割算法

图像语义分割需要精细的细节信息和丰富的语义信息,然而在特征提取阶段,连续下采样操作会导致图像中物体的空间细节信息丢失。为解决该问题,提出一种双分支结构语义分割算法,在特征提取阶段既能有效获取丰富的语义信息又能减少物体细节信息的丢失。该算法的一个分支使用浅层网络保留高分辨率细节信息有助于物体的边缘分割,另一个分支使用深层网络进行下采样获取语义信息有助于物体的类别识别,再将两种信息有效融合可以生成精确的像素预测。通过Cityscapes数据集和CamVid数据集上的实验验证,与现有语义分割算法相比,所提算法在较少的参数条件下,获得了较好的分割效果。

基于双分支融合注意力机制的图像分割算法

针对DeepLabV3+在特征提取阶段忽略了不同尺度特征重要程度出现的部分细节信息损失导致图像分割不细致,提出一种融合双分支特征提取和注意力机制的改进算法.ResNet101骨干网络初步提取出的特征图作为注意力机制的输入特征,解决了网络退化及梯度消失的问题,也能够捕获到被DeepLabV3+忽略的图像细节信息;设计双分支特征提取机制扩大特征提取能力,细化图像边缘信息以优化网络对不同尺度特征关注不均的问题;同时,联合采用交叉熵损失和类别不平衡函数两种损失函数作为损失函数,通过聚焦于前景样本降低背景的影响,提高算法分割精度.实验结果表明,改进算法在PASCAL VOC 2012和CityScapes数据集上的平均交并比(MIoU)值分别达到了79.92%和68.59%,与经典算法和基于DeepLabV3+改进的算法相比,特征提取的准确性有所提高,分割效果更优.

交互式双分支特征融合的草莓病害程度快速诊断方法

针对现有草莓病害程度诊断方法存在识别精度低、参数量大、推理时间长等问题,提出了一种基于交互式双分支特征融合的草莓病害程度快速诊断方法。该方法首先以短程密集连接模块为基础,构建一种轻量化的交互式双分支特征融合网络(Interactive bilateral feature fusion network,IBFFNet),用于提取图像的语义特征和细节特征。然后,通过注意力简化的金字塔池化模块获取上下文分支中的多尺度语义特征,利用边缘增强模块丰富空间分支中的边缘细节特征。最后,融合多尺度语义特征和空间细节特征,实现病斑和叶片区域的精确分割。在草莓叶部病害程度数据集上的实验结果显示,IBFFNet2_Seg的平均交并比达到77.8%,在单张NVIDIA GTX1050显卡上处理速度可达40.6 f/s,满足实际应用中对算法实时性和分割精度的要求。此外,在测试集上IBFFNet2_Seg预测病害程度与真实程度的决定系数R2为0.98,说明该模型可以准确预测草莓病害严重程度。本研究可为草莓病害精准防治提供可靠的技术支撑。

基于SASK和双分支结构的服装图像识别方法

服装图像具有明暗不一、尺度各异的特性,这使得已有识别方法表现不佳。为解决此问题,本文基于空间注意力选择核(space attention selective kernel, SASK)模块和双分支结构搭建神经网络模型对服装图像进行识别。首先,结合跳跃连接、稠密连接和多尺度、通道拆分的思想,设计双分支神经网络,充分提取服装对象的整体特征。其次,基于空间注意力机制,设计SASK模块,使网络可以更多地关注服装对象的形态特征信息,从而提升识别效果。实验结果表明,本文所提方法不但在典型服装数据集上能够取得优于现有主流方法的识别精度,而且在具有明暗不一、尺度各异特性的其他图像数据集上同样表现良好。

结合双分支结构和无配对GAN的低光图像增强

为了解决大部分基于CNN的低光图像增强方法边缘模糊、噪声抑制不足以及对配对数据的依赖等问题,使用生成对抗网络,在生成器上引入双分支结构,可在低光图像和正常光图像无配对的情况下,进行端到端训练。第一个分支使用类U-Net结构的网络学习低光图像到正常光图像的上下文特征映射,第二个分支以低光图像的全分辨率来保留原图的细节,最后通过一个融合层融合两个分支的结果,获得最终增亮后的图像,同时加入了total variation loss来抑制图像噪声。在六个公开数据集(MEF、LIME、NPE、VV、ExDark、LOL)上进行了定性比较和定量实验。实验结果表明该方法在BRISQUE,NIQE和PIQE三种基准测试中优于其他对比算法,平均值分别为17.55、3.74和8.45。该算法增强后的图像边缘细节清晰,减弱了图像噪声。