基于动态定位和特征融合的多分支细粒度识别方法

为了解决细粒度分类类间差异小、类内差异大的分类难点,在Swin Transformer基础上,提出了一种改进的端到端的细粒度分类模型(TBformer)。针对复杂背景对网络识别产生的干扰,使用ECA、Resnet50、SCDA相结合的动态定位模块(DLModule)捕获关键物体,并设计了基于DLModule的三分支特征提取模块,提高对目标判别性特征的提取能力。为了充分挖掘三分支特征蕴含的丰富细粒度信息,提出了基于ECA的特征融合方法,增强特征的全面性、精确性,提高网络对细粒度分类的鲁棒性。实验结果表明:相比基础方法,TBformer在CUB-200-2011上的准确率提升了3.19%,在Stanford Dogs上的准确率提升了3.47%,在NABirds上的准确率提升了1.09%。

基于多维度特征融合的网络课程推荐方法构建研究

现有网络课程推荐的相关研究较少考虑用户对不同维度课程特征偏好,针对此不足提出融合多维度特征的网络课程推荐方法。利用多种数据分析技术获取课程描述文本、课程关系数据和课程类别属性的特征表示,基于深度自编码器融合各维度特征表示以构建课程与用户特征画像,并将其输入深度神经网络实现课程推荐。实验证明,相较于基于单一维度特征方法、基于双重维度特征方法以及传统机器学习方法,该方法在Precision@K和mAP@K评价指标上均有明显提高,对促进个性化课程推荐的实践应用具有一定的指导意义。

基于三分支对抗学习和补偿注意力的红外和可见光图像融合

针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有壁画深度学习修复方法,存在上下文信息关注不足及结果欠佳的问题,提出了一种多层次特征融合与超图卷积的生成对抗修复模型。首先,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,以克服单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征方法,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,以提高特征信息的利用率;并引入门控机制对特征进行选择融合,以减少细节信息的丢失。接着,将融合特征通过卷积长短期记忆网络(ConvLSTM)特征注意力方法,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积捕获编码器的空间特征信息,并将其迁移到解码器中,有助于解码器更好地生成壁画图像,以加强特征的长程依赖关系,并与SN-PatchGAN判别器对抗博弈从而完成修复。通过敦煌壁画数字化修复实验,结果表明:所提方法客观评价优于对比算法,对于破损壁画修复结果更加清晰自然。

基于双分支融合网络的图像超分辨率重建与增强

针对现有的图像超分算法难以从模糊的低分辨率图像中重建清晰的高分辨率图像的问题,提出了双分支融合网络,通过双分支结构来联合处理图像去模糊增强、图像超分任务。网络整体分为特征提取、特征融合、重建3个阶段。在特征提取阶段,通过以ResNet为基本模式所构建的轻量化残差组、增强稠密残差块来强化对去模糊局部特征、多尺度高频特征的提取;同时为了提升关键区域的特征表达,引入监督注意力模块将提取到的特征进行校准与细化。在特征融合阶段,以像素相乘、通道相加的方式进行融合。在重建阶段,通过多个卷积操作提升空间分辨率。试验结果表明,对于4倍重建任务,输出图像的峰值信噪比(PSNR)在LR-GOPRO、Set5数据集上比GFN网络分别提高了1.34、1.36 dB,且模型的参数减少约50%。

双分支跨级特征融合的自然场景文本检测

现有的场景文本检测方法在处理任意形状文本时,由于复杂背景的影响会造成文本区域定位不准确、相邻文本漏检误检的问题,基于此提出一种双分支跨级特征融合的自然场景文本检测方法。首先,以Resnet50为主干网络提取初始特征,设计跨级特征分布增强模块(cross-level feature distribution enhancement module,CFDEM),增强跨级特征文本信息的交互性,提高特征的表达能力;然后,为自适应地选择过滤非文本或冗余特征,降低误检率和漏检率,提出自适应融合策略(adaptive fusion strategy,AFS),利用双分支结构加强不同维度特征之间的联系,优化融合过程;最后,预测阶段采用可微分二值化的方法来生成文本检测结果。所提方法在ICDAR2015、ICDAR2017、Total-Text、CTW1500数据集上进行消融实验,实验结果表明该方法能准确定位文本区域,克服文本漏检误检影响。

基于异构特征融合的多维时间序列分类算法

随着大数据时代的到来和传感器的发展,多维时间序列分类问题成为数据挖掘领域的重要问题。多维时间序列存在维度高、维度间关系复杂、数据形态多变的特点,从而生成巨大的特征空间。现有方法难以选取有区分力的特征,导致方法的准确度普遍较低。另一方面,现有方法的分类结果的可解释性较差。针对上述问题,提出了一种基于异构特征融合的多维时间序列分类算法。该算法融合了时域、频域和区间统计值这3种特征并对特征进行聚类,从而找到最有代表性的特征。首先为每个维度提取不同类型的代表性特征,再通过多维度特征转换的方法融合所有维度的不同类型的特征,形成特征向量,并基于此训练分类模型。为了提高分类结果的可解释性,算法基于树结构生成不同类型的候选特征集合,然后通过聚合消除冗余和相似的特征,最终获得少量代表性特征。为了验证所提算法的有效性,在公开的UEA数据集上进行了大量实验。实验结果显示,所提算法的准确性、特征融合的合理性,以及分类结果的可解释性均优于现有方法。

基于特征融合的轻量化巡飞弹目标跟踪算法

针对巡飞弹平台上的视觉目标跟踪算法,开始引入深度学习思想,但是受到硬件平台算力限制的影响,提出一种轻量化的基于深度学习的孪生网络框架,在较低计算量的情况下保证巡飞弹的跟踪性能。根据IOU质量评估分支和回归分支结构,提出了一种新的特征融合方式。通过1×1卷积调整特征层通道数,控制通道数比例,对不同特征层的通道按比例进行深浅层特征拼接,用于后续的特征融合模块。在特征拼接前,引入特征合并的方法来获得有不同感受野的融合特征,进一步提高特征分辨率。将提出的新特征融合方式和特征合并方式进行纵向与横向的特征融合,充分利用特征属性,提高算法性能。根据巡飞弹硬件平台的属性限制,框架采用轻量化的AlexNet网络作为骨干网络。在OTB100、GOT-10K、UAV123三个数据集上测试,框架整体以160 fps的帧率保证了较高准确度和成功率。在满足巡飞弹特殊工作环境的基础上,实现了较为先进的跟踪性能。整体框架相对简单且性能较高,有较好的跟踪实时性,可加入其他模块来进一步提升跟踪性能。

交互式双分支特征融合的草莓病害程度快速诊断方法

针对现有草莓病害程度诊断方法存在识别精度低、参数量大、推理时间长等问题,提出了一种基于交互式双分支特征融合的草莓病害程度快速诊断方法。该方法首先以短程密集连接模块为基础,构建一种轻量化的交互式双分支特征融合网络(Interactive bilateral feature fusion network,IBFFNet),用于提取图像的语义特征和细节特征。然后,通过注意力简化的金字塔池化模块获取上下文分支中的多尺度语义特征,利用边缘增强模块丰富空间分支中的边缘细节特征。最后,融合多尺度语义特征和空间细节特征,实现病斑和叶片区域的精确分割。在草莓叶部病害程度数据集上的实验结果显示,IBFFNet2_Seg的平均交并比达到77.8%,在单张NVIDIA GTX1050显卡上处理速度可达40.6 f/s,满足实际应用中对算法实时性和分割精度的要求。此外,在测试集上IBFFNet2_Seg预测病害程度与真实程度的决定系数R2为0.98,说明该模型可以准确预测草莓病害严重程度。本研究可为草莓病害精准防治提供可靠的技术支撑。

融合多分支特征的肝脏和肝脏肿瘤的体积分割

用于生物图像和体积分割的过完备卷积结构很好地解决了传统编解码器方法不能精确分割边界区域的问题,但仍存在卷积运算不能较好学习全局和远程语义信息交互的缺点。对此,提出一种新的图像分割网络KTU-Net用于肝脏肿瘤的医学图像分割任务。该网络结构包括3个分支:1)学习捕捉输入细节和精确边缘的过完备卷积网络Kite-Net;2)学习高层特征的U-Net;3)学习输入体的序列表示并有效捕获全局多尺度信息的Transformer。设计包含早期融合和晚期融合2种融合方式的KTU-Net,采用一个混合损失函数来指导网络训练,使网络训练更加稳定。在LiTS肝脏肿瘤分割数据集上的实验结果表明,与先进的三维医学图像分割方法KiU-Net、TransBTS和UNETR相比,KTU-Net实现了更高或类似的分割精度。通过融合3个分支特征,肝脏肿瘤的平均Dice得分分别提高0.7%和2.1%,能够有效改善网络学习特征的质量,使肝脏肿瘤的分割结果更加准确,为医生判定准确的肝脏肿瘤细胞评估和治疗方案提供了可靠依据。

基于CBAM-ResNet和多域特征融合的配电网故障选线方法

传统配电网故障选线模型大多采用零序电流时频特征作为选线判据,单一信息域特征无法全面反映故障信息差异、适用范围存在局限性。为了提高模型复杂工况下选线准确率,提出一种基于卷积注意力机制优化双分支残差网络(CBAM-ResNet)和多域特征融合的配电网故障选线方法。首先,利用变分模态分解-希尔伯特变换和格拉姆角场将采集的零序电流信号分别映射为二维时频域和空间域图像,构建能够全面的反映故障信息的多域图像训练集;其次,通过CBAM-ResNet网络深层次挖掘并融合多域特征信息,卷积注意力机制能对多域特征的重要性进行区分,加快网络训练速度,提高分类准确性;最后,将融合特征输入全连接层实现对配电网故障线路的选取。仿真结果表明,该方法相比传统选线方法具有更高的选线精度和噪声鲁棒性。

融合双分支特征和注意力机制的葡萄病虫害识别模型

葡萄病虫害识别是精细化防治的前提。针对现有研究中存在的数据集少、识别精度低、模型参数量大等问题,该研究构建包含健康叶片、3类病害叶片和16类虫害的葡萄病虫害数据集,提出基于改进MobileNet V2模型的葡萄病虫害识别模型。首先在MobileNet V2模型的反向残差模块中嵌入坐标注意力(Coordinate Attention,CA)机制,提升模型的信息表征能力;然后使用深度可分离卷积设计双分支特征融合模块,加强模型的特征提取能力;最后对模型的通道数进行调整,精简模型结构。试验结果表明:MobileNet_Vitis在葡萄病虫害数据集上的识别准确率和F1分数为89.16%和80.44%,相比改进前的MobileNet V2提高了1.83和9.31个百分点,而模型参数大小为7.85 MB,减少了8.5%。与ResNet101、ShuffleNetV2、MobileNetV3和GhostNet相比,MobileNet_Vitis的识别精度和F1分数更高,参数量更小。MobileNet_Vitis对单张葡萄病虫害图像的推理时间为17.53 ms,可以达到快速识别的要求。该研究提出的模型能够较好地识别葡萄病虫害,并且较大幅度地减少模型的参数量。将MobileNet_Vitis模型部署到移动端的小程序上,可为葡萄病虫害的防治提供帮助。

联合多连接特征编解码与小波池化的轻量级语义分割

语义分割是当前场景理解领域的基础技术之一。现存的语义分割网络通常结构复杂、参数量大、图像特征信息损失过多和计算效率低。针对以上问题,基于编-解码器框架和离散小波变换,设计了一个联合多连接特征编解码与小波池化的轻量级语义分割网络MLWP-Net(Multi-Link Wavelet-Pooled Network),在编码阶段利用多连接策略并结合深度可分离卷积、空洞卷积和通道压缩设计了轻量级特征提取瓶颈结构,并设计了低频混合小波池化操作替代传统的下采样操作,有效降低编码过程造成的信息丢失;在解码阶段,设计了多分支并行空洞卷积解码器以融合多级特征并行实现图像分辨率的恢复。实验结果表明,MLWP-Net仅以0.74 MB的参数量在数据集Cityscapes和CamVid上分别达到74.1%和68.2%mIoU的分割精度,验证了该算法的有效性。

采用独立分支网络的多源遥感数据自适应融合地物分类

针对现有基于深度学习的地物分类方法大多面向遥感影像,而对点云数据的空间信息利用不足,特别是对点云和影像这种异源特征融合不够充分的问题,提出了一种采用独立分支网络结构的多源遥感数据自适应融合地物分类方法。首先,对配准好的LiDAR点云和遥感影像分别采用三维网络和二维网络提取各模态的空间几何特征和语义特征;其次,在点云空间对影像特征进行交叉模态采样和特征对齐得到基于点的多源特征;最后,采用一种基于注意力机制的非线性自适应特征融合方法实现二、三维语义特征的融合。实验结果表明,本文方法通过网络训练能够实现自适应数据特征的多源遥感数据融合分类,针对ISPRS多源遥感数据集的植被、建筑物和地面三类地物平均分类精度达到85.87%,相较三维点云语义分割的分类精度提高了10.12%。本文提出的独立分支融合网络能够实现二、三维数据的交互学习与深度融合,为遥感多源数据地物分类提供了一种新的思路。

多分支融合注意力机制的车道线检测模型

为了解决目前车道线检测过程中特征融合不充分、检测精确度低和鲁棒性差的问题,本文提出一种融合多分支结构和注意力机制的车道线检测模型(fusion of multi-branch structure and attention mechanism network,FMANet),图像编码部分采用多分支结构和注意力机制,并选择swish作为激活函数,图像解码部分采用跳跃连接结构,实现跨层特征融合。本文利用TuSimple公开数据集对FMANet模型进行评估与验证,实验结果表明,本文所提的FMANet模型的mAP指标接近97.25%,车道线检测精确度达到98.15%,此外,通过CULane数据集验证FMANet模型在不同场景下的检测具有更好的鲁棒性。

点云配准中多维度信息融合的特征挖掘方法

数据挖掘是使用人工智能等方法在大型数据集中提取隐含潜在信息的过程,为从大量信息中获取有价值的知识提供了有效途径.在使用深度学习解决点云配准任务的过程中,数据挖掘也无处不在.全局特征提取和刚体变换估计是无对应点云配准的2个关键阶段,挖掘隐藏在2个阶段中的丰富信息是点云配准的重要任务之一.然而,最近提出的方法在提取全局特征时容易忽略低维局部特征,导致大量点云信息的丢失,使得后续刚体变换估计阶段求解变换参数时精度无法达到预期.首先,提出了一种基于多维度信息融合的特征挖掘网络,充分挖掘点云中的高维全局和低维局部信息,有效弥补了点云配准的全局特征提取阶段局部特征的缺失.其次,在刚体变换估计阶段使用了对偶四元数估计姿态,其可以在一个公共框架内同时表示旋转和平移,为姿态估计提供紧凑和精确的表示.最后,在ModelNet40数据集上进行的大量实验表明:与现有前沿的无对应点云配准方法相比,提出的方法可以获得更高的精度,同时对噪声具有较强的鲁棒性.

基于深度多分支特征融合网络的光学遥感场景分类

针对遥感图像背景复杂且存在某场景图像中关键物体小且尺度变化较大,需提升模型表征能力来准确辨别各类场景的问题,提出了一种深度多分支特征融合网络的方法进行遥感图像场景分类.利用多分支网络结构提取高、中、低三个层次的特征信息,将三个层次的特征进行基于拆分-融合-聚合的分组融合,最后为了关注难辨别样本和标签位置损失,提出一种损失函数.试验结果证明,本文所提出的方法对于提高分类准确率十分有效,在UCM、AID和OPTIMAL三个数据集上的准确率超过其他算法.在数据集UCM上80%样本训练,准确率达到了99.29%,与ARCNet-VGG16算法相比分类准确率提高了1.35%.在数据集AID上50%样本训练,准确率达到了95.56%,与Two-Stream算法相比提高了0.98%.在数据集OPTIMAL上80%样本训练,准确率达到95.43%,与ARCNet-VGG16算法相比提升2.73%.

基于k-means聚类算法与多维特征融合的群体划分模型

常规群体划分模型构建方法主要采用二分均值算法,该方法易受到数据特征项贡献度的影响,使得模型的划分结果准确性较低。因此,提出基于k-means聚类算法与多维度特征融合的群体划分模型。利用k-means聚类算法通过合理设定密度阈值与邻域半径,提取用户群体的兴趣区域,在兴趣区域中选取贡献度较大的数据特征项,并计算特征项的权值,以此为依据,采用多维特征融合算法改进最大化目标函数,以此实现群体划分模型的构建。实验结果显示,利用所提方法构建的群体划分模型,能够得到较高的划分准确度。

基于U-Net多尺度和多维度特征融合的皮肤病变分割方法

针对皮肤病变区域尺度不同和形状不规则,传统U-Net网络方法缺乏从不同尺度分析目标的鲁棒性,并在提取图像高层语义特征时丢失部分空间上下文信息而影响后续分割精度等问题,提出一种基于U-Net多尺度和多维度特征融合的医学图像分割方法.首先,用空洞卷积融合不同尺度的空间上下文信息;其次,用通道上下文信息融合模块提取特征图各通道间的权重信息;最后,将特征图中的多尺度和多维度信息进行融合,以保留更多的空间上下文信息.实验结果表明,该方法在皮肤病变数据集上对皮肤病变区域进行分割的分割效果较好.

基于双分支交互的实时语义分割算法

针对双分支实时语义分割算法存在双分支交互差、多尺度上下文信息提取不完善等问题,提出了基于双分支交互的实时语义分割网络(dual-branch interactive multi-scale fusion network for real-time semantic segmentation,DIMFNet)。算法以引导聚合双边语义分割网络(bilateral network with guided aggregation for real-time semantic segmentation,BiseNetV2)的双分支结构为基准进行改进,空间分支提取空间细节特征,上下文分支提取深层上下文特征。结合注意力思想提出注意力引导高级语义融合模块(attention guide high-level semantics fusion module,AGHSM)实现双分支的交互融合,以获得更好的空间特征表示;对金字塔池化模块进行改进,提出采用多层聚合金字塔池化模块(multi-layer aggregation pyramid pooling module,MAPPM)提取多尺度上下文特征,以获得更好的上下文特征表示。算法在Cityscapes数据集上进行消融实验并与现有实时语义分割网络进行对比,验证了各模块的有效性,以124.5 f/s达到了77.9%的平均交并比(mean intersection over union,MIoU);在CamVid数据集上以211.1 f/s达到了75.1%的MIoU。相比现有的实时语义分割网络,本文算法更好地权衡了分割的精度和速度。