基于多注意力机制与跨特征融合的语义分割算法

图像语义分割技术在缺陷检测、医疗诊断、无人驾驶等领域广泛应用。针对现有语义分割模型普遍存在训练成本过高、目标轮廓分割效果不佳以及对小目标误分割、漏分割等问题,基于DeepLabv3+网络框架,提出多注意力机制与跨特征融合相结合的图像语义分割算法。该算法选取轻量级网络MobileNetv2作为主干,以缩短训练时间;通过优化空洞空间金字塔池化模块中空洞卷积的膨胀率,改善多尺度语义特征的提取效果,提高模型对小目标的分割能力,并将兼具通道与空间的卷积块注意力机制引入其中,更加关注对分割起决定作用的区域,从而加强对目标边界的提取;在编码器中设计跨特征融合模块,以聚合不同层次特征图的空间信息和语义信息,提高网络学习特征的能力;在编码和解码部分均引入坐标注意力机制,以分解全局平均池化的方式将位置信息嵌入到通道中,从而得到分割目标的准确位置。实验结果表明,所提算法F3crc-DeepLabv3+在PASCAL VOC 2012增强数据集和Cityspaces数据集上的平均交并比分别达到了75.06%和73.06%,平均精度分别达到了84.16%和82.05%,精确率分别达到了86.18%和85.43%,训练时间分别为10 h和13.8 h,具有较优的网络性能。

基于跨阶段特征融合算法的混合部位运动图像超分辨率修复方法

混合部位运动图像存在模糊、失真、低分辨率等问题,且峰值信噪比差值较小。提出基于跨阶段特征融合算法的混合部位运动图像超分辨率修复方法。结合非线性映射关系重构像素点,采用跨阶段特征融合算法,完成混合部位运动图像超分辨率修复。实验结果表明:得到完整的混合部位运动图像修复结果,表现出的峰值信噪比差值较大,修复后的图像分辨率更优,满足了混合部位运动图像的现实应用需求。

融合监督注意力模块和跨阶段特征融合的图像修复改进网络

非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两阶段网络模型上,引入了SAM与CSFF模块。SAM通过提供真实图像监督信号,监督上阶段输出特征,确保传入下阶段特征信息的有效性。CSFF将上阶段编码器-解码器的特征融合后送入下阶段的编码器,以弥补上阶段修复中特征信息的损失。实验结果表明,在缺失区域占比为1%~10%时,相较于基线模型Gconv,Gconv_CS在CelebA-HQ数据集上峰值信噪比(PSNR)和结构相似性指数(SSIM)分别提高了1.5%和0.5%,Fréchet起始距离(FID)和L1损失分别降低了21.8%、14.8%;在Place2数据集上,前2个指标分别提高了26.7%和0.8%,后2个指标分别降低了7.9%、37.9%。将Gconv_CS用于去除大熊猫面部遮挡物时,取得了较好的修复视觉效果。

基于位置感知和跨层特征融合的航拍小目标检测算法

针对航拍图像目标尺度小、背景复杂、漏检和误检严重,提出了一种基于位置感知和跨层特征融合的航拍小目标检测算法DC-YOLOv8s。DC-YOLOv8s新增小目标检测层,增强对小目标尺度的敏感性,提高检测精度。为了减少特征信息的丢失,设计了跨层特征融合模块,充分融合小目标浅层语义信息和深层语义信息,丰富特征表示。改进C 2f结构,结合可变性卷积设计了基于位置感知融入残差的感受野注意力模块,适应航拍小目标形状的变化,快速提取感受野特征,降低漏检和误检率。最后使用基于注意力机制的动态检测头在尺度感知、空间感知、任务感知方面提高复杂场景下小目标的定位性能。实验表明,在VisDrone2019数据集上,DC-YOLOv8s在P、R、mAP上相较于YOLOv8s分别提高了7.2%、7.5%、9.1%,显著提高了小目标检测的性能,FPS为71帧,满足实时性要求。在VOC2007+2012上进行模型泛化性实验验证,效果优于其他经典算法。

基于跨模态特征融合的RGB-D显著性目标检测

RGB-D显著性目标检测因其有效性和易于捕捉深度线索而受到越来越多的关注。现有的工作通常侧重于通过各种融合策略学习共享表示,少有方法明确考虑如何维持RGB和深度的模态特征。提出了一种跨模态特征融合网络,该网络维持RGB-D显著目标检测的RGB和深度的模态,通过探索共享信息以及RGB和深度模态的特性来提高显著检测性能。具体来说,采用RGB模态、深度模态网络和一个共享学习网络来生成RGB和深度模态显著性预测图以及共享显著性预测图。提出了一种跨模态特征融合模块,用于融合共享学习网络中的跨模态特征,然后将这些特征传播到下一层以整合跨层次信息。此外,提出了一种多模态特征聚合模块,将每个单独解码器的模态特定特征整合到共享解码器中,这可以提供丰富的互补多模态信息来提高显著性检测性能。最后,使用跳转连接来组合编码器和解码器层之间的分层特征。通过在4个基准数据集上与7种先进方法进行的实验表明,方法优于其他最先进的方法。

基于多尺度跨模态特征融合的图文情感分类模型

图文情感分类任务常用早期融合和Transformer模型相结合的跨模态特征融合策略进行图文特征融合,但该策略更倾向于关注模态内部的独有信息,而忽略了模态间的相互联系和共有信息,导致跨模态特征融合效果不理想。针对此问题,提出一种基于多尺度跨模态特征融合的图文情感分类方法。局部尺度方面,基于跨模态注意力机制进行局部特征融合,使模型不仅关注图像和文本的独有信息,而且可以发现图像和文本之间的联系和共有信息。全局尺度方面,基于MLM损失进行全局特征融合,使模型对图像和文本数据进行全局建模,进一步挖掘图像和文本之间的联系,从而促进图像和文本特征的深度融合。在两个公开数据集MVSA-Single和MVSA-Multiple上与10个基线模型进行对比实验,结果表明所提方法在精度、F1值和模型参数量方面均具有明显优势,验证了其有效性。

结合跨层特征融合网络和非局部的识别方法

在以往的方法中,针对于图像识别,主要目标是提取出足够多的具有区分度的局部关键特征。由于细粒度图像分类是对同属于一个大类下面的具体小类别的细分,所以不同的细类之间差别很小,要想提高准确率,更需要找到具有辨别力度的局部区域。论文使用了目标-导航网络,来筛选出前k个最具有判别力的局部区域块,然后针对于筛选出来的k个不同的区域块,利用非局部模块的思想,捕捉不同局部区域之间的联系,更加充分地利用了图像信息,以此来提高精度。与此同时,在残差网络中,使用了卷积注意模块捕捉不同通道注意力特征之间的联系,且在最后的全连接层处改进了网络架构,使用跨层特征融合的方法来代替了简单的级联。考虑到在细粒度识别中,图像的标注需要耗费非常多的人力物力,所以论文中提出的方法,是自监督的。

基于跨域特征融合的烘丝工艺优化方法

针对烘丝控制系统中传统控制方法只依赖于单一数据源的局限性,提出使用跨域特征融合控制的方法优化烘丝生产过程。首先,对来自不同来源的数据进行预处理,以降低数据异构性的影响。然后,使用机器学习算法进行特征提取,从大量的跨域数据中获取关键模式信息,构建了基于多头注意力机制和对抗自编码器的特征融合模型,为更精确和有效的控制策略提供支持。实验结果表明,通过特征选择和特征融合这两个步骤,能获取更相关、更具信息量的数据以优化模型的性能,通过自编码器进行多源融合后的特征进行的预测,预测模型精度更高。

基于上下文感知跨层特征融合的光场图像显著性检测

光场图像的显著性检测是视觉跟踪、目标检测、图像压缩等应用中的关键技术。然而,现有深度学习方法在处理特征时,忽略特征差异和全局上下文信息,导致显著图模糊,甚至在前景与背景颜色、纹理相似或者背景杂乱的场景中,存在检测对象不完整以及背景难抑制的问题,因此该文提出一种基于上下文感知跨层特征融合的光场图像显著性检测网络。首先,构建跨层特征融合模块自适应地从输入特征中选择互补分量,减少特征差异,避免特征不准确整合,以更有效地融合相邻层特征和信息性系数;同时利用跨层特征融合模块构建了并行级联反馈解码器(PCFD),采用多级反馈机制重复迭代细化特征,避免特征丢失及高层上下文特征被稀释;最后构建全局上下文模块(GCM)产生多尺度特征以利用丰富的全局上下文信息,以此获取不同显著区域之间的关联并减轻高级特征的稀释。在最新光场数据集上的实验结果表明,该文方法在定量和定性上均优于所比较的方法,并且能够精确地从前/背景相似的场景中检测出完整的显著对象、获得清晰的显著图。

基于推文传播模式与跨模态特征的网络谣言检测研究

[研究目的]为了有效治理网络谣言,减少网络谣言对社会稳定带来的威胁,提出充分整合帖子的多模态信息和传播模式信息对谣言进行精准识别。[研究方法]提出融合推文传播模式信息与跨模态特征的网络谣言检测模型(PPCMRD)。在推文传播特征挖掘方面,首先通过推断潜在连接补全推文传播图,接着采用双向标签图注意力模块编码推文的多个传播模式,然后通过传播模式信息融合模块捕获模式特征间的互补信息,得到帖子的传播特征;在整合多模态特征方面,该模型将帖子的文本、图像和推文传播特征集成在一起,采用跨模态共同注意力机制捕捉不同模态信息间的互补关系,得到帖子的最终嵌入表示,判断是否是谣言。[研究结论]在两个公开数据集上的实验结果表明,PPCMRD模型能够有效地检测谣言,并优于当前的基线模型。

多尺度特征融合与交互的伪装目标检测网络

伪装目标检测是一项在复杂场景中定位和识别伪装目标的任务.目前基于深度神经网络的方法已初步运用,但在复杂场景下遇到干扰时,许多方法无法充分利用目标的多级特征来提取丰富的语义信息,仅依靠固定尺寸特征识别伪装目标.为解决这一问题,本文提出了一种基于多尺度特征融合交互的伪装目标检测网络.该网络包含两个创新设计:多尺度特征感知模块和双阶段邻级交互模块.前者旨在通过结合多尺度特征的方式充分捕获复杂场景中丰富的局部-全局场景对比信息.后者则是整合来自相邻层的特征以利用跨层相关性将有价值的上下文信息从编码器传输到解码器网络.本文在CHAMELEON、CAMO-Test、COD10K-Test这3个公共数据集上对提出的方法进行了评测并与当前的主流方法对比.实验结果表明,本文方法的性能超越了当前的主流方法,在各项指标上达到了优异的性能水平.

抽样切分卷积实现跨尺度特征融合及内镜图像去模糊

针对内镜图像去模糊过程中语义信息难以提取和细节纹理重建困难的问题,设计了一种新的抽样切分卷积,并将其应用于跨尺度特征融合过程中:通过等间隔抽样将大尺度特征无损切分成小尺度特征块,再与小尺度特征进行卷积融合。过程中大尺度特征的所有值都参与了特征融合,避免了细节信息的丢失;未对小尺度特征进行插值,避免了语义信息的模糊。为进一步实现特征互补,设计了特征交互融合模块,先用语义特征激活细节特征,再将两者融合。针对内镜图像亮通道、中间通道和暗通道的特征差异性设计了梯度重建和频域重建损失函数,提升了重建图像的锐度。在EAD和Kvasir-SEG数据集上,该算法的PSNR分别达到32.88 dB和33.01 dB,SSIM分别达到0.972和0.973。实验结果表明,该算法的性能优于主流去模糊算法,视觉上重建图像的纹理更清晰,且未产生伪影。

基于跨尺度EEG特征融合的疲劳驾驶检测

疲劳驾驶是交通事故及其所导致死亡的主要原因之一。传统基于生理信号的疲劳驾驶检测方法往往使用单一尺度,使得部分有价值信息丢失。为此,提出了一种基于跨时空尺度脑电(electroencephalogram,EEG)特征融合的疲劳驾驶检测方法。基于可视图理论映射时序EEG信号到空间网络,以实现时空EEG转化;分别提取时域和空域EEG特征,发掘不同时空EEG特征对疲劳驾驶检测的潜力,设计基于特征权重系数的时空EEG特征融合方法,进而实现疲劳驾驶检测。实验结果表明:该方法可以有效地实现疲劳驾驶检测,最高检测准确率能够达到95.15%。

基于跨模态特征融合的胆囊癌诊断模型研究

针对目前尚未有研究使用深度学习方法将胆囊癌影像、放射组学特征和肿瘤标志物等实验室检查数据融合应用于胆囊癌诊断的问题,提出一种跨模态特征融合的胆囊癌诊断模型。首先利用3D U-net网络进行胆囊区域分割并提取放射组学特征,使用三维卷积神经网络提取医学影像深度特征,再将这两者与实验室检查数据进行特征融合,将融合结果作为分类器的输入进行胆囊癌诊断。实验结果表明,该方法在分类准确率、特异度、灵敏度、精确率上相比最优的单类特征模型分别提高16.67%、12.62%、11.54%和13.14%。同5种常见的影像分类模型比较,其在准确率、特异度和精确率上均至少提高10.00%、25.00%和13.33%,由此得出该方法在胆囊癌诊断上具有更好的准确率与可靠性。

基于面部多特征跨层融合网络的驾驶员疲劳检测方法

针对现有驾驶员疲劳检测很大程度依赖于局部疲劳相关信息提取而导致检测准确度不足的问题,本文提出了一种基于面部多特征融合的驾驶员疲劳检测算法,能够对整体面部疲劳状态进行特征学习,从而实现更精确的驾驶员疲劳状态检测。提出的驾驶员人脸疲劳检测算法包含3个步骤:首先使用MTCNN网络检测面部关键点并截取脸部、眼部、嘴部图像区域;其次设计一种面部多特征跨层融合网络,实现不同面部区域之间的信息交互与疲劳相关特征提取,进而通过多标签分类对单帧图像面部疲劳相关属性进行识别;最后使用LSTM对长时间序列进行建模,实现最终的驾驶员疲劳状态检测。本文提出的驾驶员疲劳检测算法在NTHU-DDD数据集进行了测试,对比实验验证了该方法的可行性和有效性。

多尺度特征跨层融合遥感目标检测方法

最近引起广泛关注的基于遥感图像的目标检测是一项基本但具有挑战性的任务。文章提出了一种基于YOLOv5改进的多尺度特征跨层融合遥感目标检测器。首先,引入Explicit Visual Center(EVC)模块解决目标密集分布任务中的漏检问题。其次,在YOLOv5的基础上提出了多尺度特征跨层融合结构(S-160),该结构提高了对各个尺度目标的检测精度,并针对小目标检测引出了新的大尺度特征,以解决遥感图像中超小目标无法识别的问题。最后,在公共遥感数据集DOTA上进行了实验,此数据集上的平均精度(mAP)达到了76.50%。

基于多尺度和跨空间融合的超声乳腺结节分割

针对超声成像分辨率低且存在噪声、结节形态与纹理复杂多变导致超声乳腺结节精确分割较为困难的问题,提出一种融合多尺度特征提取和跨空间特征融合的超声乳腺结节端到端自动分割方法。首先,设计一种多尺度特征提取与融合(MFEF)模块,通过融合4条具有不同感受野的卷积路径使网络具有多尺度的特征提取能力。其次,为对高级语义信息进行多尺度观察和信息筛选,在瓶颈层采用尺度感知与特征聚合(SFA)模块,以增强编码阶段的深层特征提取能力。此外,设计跨空间残差融合(CRF)模块,并将它应用在编、解码器间的跳跃连接上。该模块一方面对不同编码层进行跨空间信息融合,实现不同编码层间的信息互补;另一方面进一步提取编码层信息特征,缓解编解码对等层之间的语义差异,从而更好地补偿解码阶段的信息损失。在公开的超声乳腺结节数据集上的实验结果显示,所提方法的DICE系数可达0.888,同主流的深度学习分割模型UNet、AttUNet、ResUNet++、SKUNet相比,提高了0.033~0.094,对比相同数据集中的改进模型如CF2-Net、ESTAN、FS-UNet、SMU-Net,提高了0.001~0.068。所提方法分割结果图的主观视觉效果与专家给出的金标准最接近,能更加准确地分割出乳腺结节区域。

级联跨域特征融合的虚拟试衣

基于图像合成蒙版策略的虚拟试衣技术在扭曲服装和人体融合时能较好地保留服装细节。然而由于在试衣过程中人体和服装的位置和结构难以对齐,试衣结果容易产生严重的遮挡,影响视觉效果。为解决试衣过程中的遮挡问题,提出了一种基于U-Net的生成器。该生成器在U-Net解码器上添加级联的空间和通道注意力模块,从而实现了着装人体的局部特征和扭曲服装的和全局特征的跨域融合。形式上,首先采用卷积网络预测薄板样条插值(TPS)变换的方法将服装根据目标人体姿态进行扭曲;然后,将着装人体解析信息和扭曲服装输入到提出的生成器中,并获取对应服装区域的掩码图像以渲染中间结果;最后,采用掩码合成的策略来通过掩码处理将扭曲服装与中间结果合成得到最终的试衣结果。实验结果表明,所提方法不仅可以减少遮挡,而且增强了图像细节,相较于CP-VTON方法,产生的图像的平均峰值信噪比(PSNR)提高了10.47%,平均FID减小了47.28%,平均结构相似性(SSIM)提高了4.16%。

跨域特征融合的端-边协同遮挡人脸识别方法

提出了跨域特征融合的端-边协同遮挡人脸识别方法,设计了端-边协作的人脸识别架构,充分利用终端和边缘的计算资源进行遮挡人脸的实时识别。提出了跨域人脸特征融合的方法,通过显式域人脸特征增强与隐式域人脸特征挖掘,进行人脸特征的融合提取。进而,提出时延优化的边缘识别任务调度方法,综合考虑边缘的任务负载、计算能力、带宽及时延容忍约束,动态调度人脸识别任务,在保证识别精度的同时最小化识别时延。实验结果表明,所提方法相比基线方法,在人脸识别任务精度基本持平的同时大幅提高了识别时延方面的性能。

基于跨尺度特征融合自注意力的图像描述方法

近年来,基于自注意力机制的编码器-解码器框架已经成为主流的图像描述模型。然而,编码器中的自注意力只建模低尺度特征的视觉关系,忽略了高尺度视觉特征中的一些有效信息,从而影响了生成描述的质量。针对该问题,文中提出了一种基于跨尺度特征融合自注意力的图像描述方法。该方法在进行自注意力运算时,将低尺度和高尺度的视觉特征进行跨尺度融合,从视觉角度上提高自注意力关注的范围,增加有效视觉信息,减少噪声,从而学习到更准确的视觉语义关系。在MS COCO数据集上的实验结果表明,所提方法能够更精确地捕获跨尺度视觉特征间的关系,生成更准确的描述。特别地,该方法是一种通用的方法,通过与其他基于自注意力的图像描述方法相结合,能进一步提高模型性能。