基于跨模态注意力融合的煤炭异物检测方法

为解决原煤智能化洗选过程中煤流中夹杂的异物对比度低、相互遮挡导致异物图像检测时特征提取不充分的问题,提出了一种基于跨模态注意力融合的煤炭异物检测方法。通过引入Depth图像构建RGB图像与Depth图像的双特征金字塔网络(DFPN),采用浅层的特征提取策略提取Depth图像的低级特征,用深度边缘与深度纹理等基础特征辅助RGB图像深层特征,以有效获得2种特征的互补信息,从而丰富异物特征的空间与边缘信息,提高检测精度;构建了基于坐标注意力与改进空间注意力的跨模态注意力融合模块(CAFM),以协同优化并融合RGB特征与Depth特征,增强网络对特征图中被遮挡异物可见部分的关注度,提高被遮挡异物检测精度;使用区域卷积神经网络(R-CNN)输出煤炭异物的分类、回归与分割结果。实验结果表明:在检测精度方面,该方法的AP相较两阶段模型中较优的Mask transfiner高3.9%;在检测效率方面,该方法的单帧检测时间为110.5 ms,能够满足异物检测实时性需求。基于跨模态注意力融合的煤炭异物检测方法能够以空间特征辅助色彩、形状与纹理等特征,准确识别煤炭异物之间及煤炭异物与输送带之间的差异,从而有效提高对复杂特征异物的检测精度,减少误检、漏检现象,实现复杂特征下煤炭异物的精确检测与像素级分割。

Transformer-CNN特征跨注意力融合学习的行人重识别

卷积神经网络(convolutional neural network,CNN)关注局部特征,难以获得全局结构信息,Transformer网络建模长距离的特征依赖,但易忽略局部特征细节。提出了一种跨注意力融合学习的行人重识别算法,利用CNN和Transformer特征学习网络的特点,在丰富行人局部特征的同时改善特征的全局表达能力。该模型由三个部分构成:CNN分支主要提取局部细节信息;Transformer分支侧重于关注全局特征信息;跨注意力融合分支通过自注意力机制计算上述两个分支特征的相关性,进而实现特征融合,最终提高模型的表征能力。剥离实验以及在Market1501和DukeMTMC-reID数据集的实验结果证明了所提方法的有效性。

基于多光谱交互注意力融合的多尺度无人机小目标检测

针对无人机检测中存在的目标较小、受背景环境影响大、以及多光谱特征难以深度融合等问题,本文提出了针对无人机小目标检测的多尺度多光谱交互注意力融合目标检测模型.首先,将骨干网络设计为双流网络,分别提取不同尺度红外和可见光特征,并增加小目标检测层和BiFPN级联操作,提升对无人机小目标特征的提取能力.其次,创新性的设计了多光谱交互注意力融合模块,在该融合模块的指导下,网络可以在不同尺度融合红外和可见光模态的信息,使红外和可见光的特征进行深度聚合,发挥各自模态的优势,指导开展无人机小目标检测.实验结果表明,与最先进的多光谱目标检测模型相比,本文提出的模型在FLIR、LLVIP两个公开的多光谱目标检测数据集上都达到了优越的性能,在构建的多光谱无人机数据集上,本文提出的模型有效提升了无人机的检测精度和鲁棒性.

基于有效感受野和注意力融合机制的脑肿瘤全自动分割

深度学习在医学图像分割领域取得了显著成果,但其在脑肿瘤分割任务中,仍面临感受野不足、冗余信息过多、信息丢失等问题;为此,本研究提出一种基于编-解码结构的脑肿瘤分割网络模型(EAU-Net)。EAU-Net采用有效感受野拓展模块和注意力融合模块改善脑肿瘤分割网络感受野不足与冗余信息过多带来的不利影响;同时,引入基于倒残差结构的瓶颈重采样模块,有效避免上下采样时造成的信息损失,并采用深度卷积降低网络的计算量。在BraTS2020数据集上的实验结果表明,EAU-Net获得最优的分割精度,验证了其在脑肿瘤分割任务中的可行性和有效性。

基于多尺度频率通道注意力融合的声纹库构建方法

为解决声纹识别准确性易受外部因素影响的问题,提出一种基于多尺度频率通道注意力融合时延神经网络(MFCA-TDNN)模型的声纹识别算法。MFCA-TDNN在ECAPA-TDNN(Emphasized Channel Attention Propagation Aggregation Time Delay Neural Network)的基础上作了3点改进,包括:加入了多尺度频率通道注意力前端以从话语中获得高分辨率的特征表示、添加了多尺度通道注意力模块结合局部和全局的特征以融合多尺度信息、嵌入了特征注意力融合模块为多尺度的融合特征加权。这些改进使模型更好地利用多尺度的时频信息,提高识别能力。实验结果表明,与ECAPA-TDNN模型相比,MFCA-TDNN模型等错误率(EER)和最小检测代价函数(minDCF)分别下降5.9%和7.9%;最低的EER可达到3.83%,最低的minDCF可达到0.2202。

基于层级化注意力融合的航拍图像电力线分割模型

电力线自动分割是保证智能检测平台安全运行的重要前提。然而,电力线分割是复杂背景、多种气候环境下的小目标分割问题,极易出现误检、漏检问题。为了提高电力线分割的鲁棒性与准确性,结合编码器-解码器框架,提出了一种基于层级化注意力融合的端到端分割模型。该模型提出一种降维残差卷积单元,增加网络深度的同时大幅度减少网络参数,更易部署于嵌入式设备。为了使模型捕捉到全局信息并强调电力线的目标区域,设计了链式层级化注意力融合模块进行多尺度特征融合,以解决类别不均衡问题。为了提高模型对电力线特有的直线先验特征的关注,提出了直线先验损失函数,并与Focal、Dice损失函数组合成联合损失函数,进一步提高了电力线分割准确度。实验结果表明,所提模型网络深度增加为基础网络的2.8倍左右,而参数量仅为原来的1/3左右。针对常规天气和雾天环境下的航拍图像均能实现电力线的鲁棒分割。所提出模型能应用于电力巡检领域,使巡检更加智能与高效。

可变形分支注意力融合网络的胰腺分割方法

胰腺具有尺寸小、形状不规则且多变的特点,因此在腹部CT图像中自动分割胰腺具有极大的挑战性.为了适应胰腺特征并解决其分割困难的问题,本文提出了一种轻量级的可变形分支注意力融合网络(Deformable Branch Attention Fusion Network,DBA-Net)作为胰腺自动分割方法.该方法首先将候选区域裁剪出来作为网络的输入,以便减少背景干扰并突出胰腺区域;然后引入可变形卷积使网络自适应地学习胰腺的空间结构;最后提出分支注意力融合模块实现低级别特征和高级别特征的融合,帮助解码器更好地还原特征图.本文的方法在NIH数据集上测试的Dice相似系数为85.3%,在MSD数据集上的Dice相似系数为78.9%,相比基线U-Net分别提高了3.9%和5.6%.实验结果表明本文的方法能够对胰腺进行更好的分割.

一种适用于轴承故障诊断半监督学习分类的多层图卷积注意力融合网络

图卷积网络的平滑运行会导致其无法通过深度网络堆叠捕获深层信息,为了解决这个问题,提出了一种适用于滚动轴承故障诊断半监督学习分类的多层图卷积注意力融合网络(MGCAN)。首先,采用频域构图法将数据转换为图模型,捕获了数据的内在结构信息,将构建好的图数据输入网络,逐层提取特征信息,从浅层到深层逐步加深对数据特征的理解;然后,对每一层图卷积信息进行了有序拼接,同时引入了图注意力机制,使网络能够自动关注对分类任务比较重要的信息,从而提高了网络的性能和鲁棒性;最终,通过迭代学习,网络能够不断优化模型参数,对故障信息进行了准确识别;对不同工作条件下的滚动轴承进行了多次实验,并将该方法与传统的基于深度学习的方法进行了分析比较。研究结果表明:即使在标记数据只有10%的前提下,采用该网络依旧能够达到88%以上的识别准确度,并且适用于匀速和变速等不同的工况。上述结果证明,在选择适当方法保留多层图卷积中的有用信息后,深度图卷积网络可以成为诊断滚动轴承故障的一大利器。

基于注意力融合网络的方面级多模态情感分类

方面级多模态情感分类任务的一个关键是从文本和视觉两种不同模态中准确地提取和融合互补信息,以检测文本中提及的方面词的情感倾向.现有的方法大多数只利用单一的上下文信息结合图片信息来分析,存在对方面和上下文信息、视觉信息的相关性的识别不敏感,对视觉中的方面相关信息的局部提取不够精准等问题,此外,在进行特征融合时,部分模态信息不全会导致融合效果一般.针对上述问题,本文提出一种注意力融合网络AF-Net模型去进行方面级多模态情感分类,利用空间变换网络STN学习图像中目标的位置信息来帮助提取重要的局部特征;利用基于Transformer的交互网络对方面和文本以及图像之间的关系进行建模,实现多模态交互;同时补充了不同模态特征间的相似信息以及使用多头注意力机制融合多特征信息,表征出多模态信息,最后通过Softmax层取得情感分类的结果.在两个基准数据集上进行实验和对比,结果表明AF-Net能获得较好的性能,提升方面级多模态情感分类的效果.

基于双重注意力融合和空洞残差特征增强的场景文本检测

针对自然场景中任意形状文本容易漏检、错检的问题,提出了一种基于双重注意力融合和空洞残差特征增强的场景文本检测方法。为了增强文本特征通道之间的潜在联系,提出了双重注意力融合(DAF)模块,采用双向特征金字塔与双重注意力融合模块相结合的方式进行多层的特征融合;另外针对深层特征图在降维的过程中可能造成语义丢失的现象,提出了空洞残差特征增强(D-RFA)模块。通过在弯曲文本数据集CTW1500上的测试表明,该方法的准确率、召回率和F值分别达到了87.8%、84.2%和86.0%,同时在多方向文本数据集ICDAR2015上也有良好的表现,证明了该方法在各种形状文本检测上的有效性。

多尺度注意力融合和抗噪声的轻量点云人脸识别模型

在低质量点云人脸数据集上,判别性特征的提取和模型对噪声的鲁棒性是解决点云人脸识别问题的关键。针对现有轻量点云人脸识别算法不能充分提取判别性特征和数据集中存在大量噪声而影响模型训练的问题,设计轻量高效的网络模型,提出了基于多尺度注意力融合和抗噪声的自适应损失函数的点云人脸识别算法。首先通过不同卷积模块获得不同感受野大小的特征图。然后进行多尺度的注意力特征提取,并使用高层的注意力权重来引导低层注意力权重的生成,最后进行通道融合得到多尺度融合的特征,提升了模型捕获人脸细节特征的能力。其次,根据低质量点云人脸图像的噪声信息特点,设计了一种新颖的抗噪声的自适应损失函数(anti-noise adaptiveloss),以应对数据集大量噪声对模型训练过程中可能造成的负面影响,提升模型的鲁棒性和泛化能力。在开源数据集Lock3DFace和本文提出的KinectFaces数据集上的实验结果表明,与当前的主流算法相比该算法模型在低质量点云人脸识别任务中具有更好的识别效果。

基于多尺度注意力融合网络的胃癌病理图像分割方法

近年来,随着深度学习技术的发展,基于编解码的图像分割方法在病理图像自动化分析上的研究与应用也逐渐广泛,但由于胃癌病灶复杂多变、尺度变化大,加上数字化染色图像时易导致的边界模糊,目前仅从单一尺度设计的分割算法往往无法获得更精准的病灶边界。为优化胃癌病灶图像分割准确度,基于编解码网络结构,提出一种基于多尺度注意力融合网络的胃癌病灶图像分割算法。编码结构以EfficientNet作为特征提取器,在解码器中通过对多路径不同层级的特征进行提取和融合,实现了网络的深监督,在输出时采用空间和通道注意力对多尺度的特征图进行注意力筛选,同时在训练过程中应用综合损失函数来优化模型。实验结果表明,该方法在SEED数据集上Dice系数得分达到0.806 9,相比FCN和UNet系列网络一定程度上实现了更精细化的胃癌病灶分割。

基于残差注意力融合和门控信息蒸馏的图像修复

图像修复在计算机视觉任务中具有重大的意义和价值。近年来,基于深度学习的图像修复模型被广泛应用于该领域中。但是现有的深度学习图像修复模型存在对破损图像中有效信息的利用不足和受破损图像中掩码信息干扰的问题,从而导致修复出的图像的部分结构缺失和部分细节模糊。为此,文中提出了基于残差注意力融合和门控信息蒸馏的图像修复模型。首先,该图像修复模型由生成器和鉴别器两部分组成,生成器的主干结构采用U-Net网络,由编码器和解码器组成;鉴别器采用马尔可夫鉴别器,由6个卷积层组成。然后,在编码器和解码器中分别构建残差注意力融合结构,以增强破损图像中有效信息的利用和减少掩码信息的干扰。最后,在编码器和解码器的跳跃连接中嵌入门控信息蒸馏模块,进一步提取待修复图像中的有效低级特征。在公开人脸和街景数据集上的实验结果表明:文中模型在语义结构和纹理细节方面具有更好的修复效果;文中模型的结构相似性、峰值信噪比、平均绝对值误差、最小平方误差和弗雷歇距离指标均优于5种对比模型,说明文中模型的修复质量优于对比模型。

基于组件特征与多注意力融合的车辆重识别方法

为提升车辆重识别算法的性能,提出一种基于车辆组件特征与多注意力融合的特征学习方法.首先,修改深度残差网络以获取具有丰富语义信息的特征图,同时应用语义分割网络将车辆图像划分为车辆正面、背面、顶面、侧面及背景区域,以实现组件特征提取并消除视角变化的影响.然后,设计多注意力融合模块,基于面积注意力与特征注意力实现组件特征的自适应融合.最后,在多任务学习框架下,优化车辆重识别的三元组损失与辅助分类任务的交叉熵与焦点损失,对网络参数进行训练.在多个数据集上的实验结果表明,提出的方法在大多数性能指标上均超越了现有方法.进一步的消融实验证明了多注意力融合模块与多任务损失函数在特征提取上的有效性.

基于统一注意力融合网络的耕地变化检测

为了快速摸清农村乱占耕地建房底数,实现对侵占耕地房屋的检测,提出了一种统一注意力融合网络(Unified Attention Fusion Network)用于农村占用耕地建房识别。为了解决不同时相遥感影像特征相互影响的问题,首先使用孪生网络代替VGG16网络进行特征提取。其次,为了在增大网络感受野并获取更多多尺度信息的前提下减小网络模型大小,在编码阶段最底层使用了简易金字塔池化(Simple Pyramid Pooling Module,SPPM);在解码阶段,为了提高分割精度,突出有用特征,提高边缘分割精度,使用统一注意力融合模块(Unified Attention Fusion Module,UAFM)替换原始的上采样部分进行解码,获取变化检测结果。网络在占用耕地建房数据集上进行了训练和测试。实验结果表明,统一注意力融合网络在测试集上准确率(Accuracy)达到98.82%、精确率(Precision)达到89.69%、召回率(Recall)达到82.14%、F1分数(F1 Score)达到85.74%,能够快速识别不同尺度的疑似占用耕地的违建房屋,为农村乱占耕地建房整治工作提供一种技术检测方法。

基于标签推理和注意力融合的多标签文本分类方法

目前许多多标签文本分类方法主要关注文档表示,而丢失了大量标签相关的语义信息,导致分类效果不理想。针对以上问题,提出一种基于标签推理和注意力融合的分类方法,挖掘文档中与标签相关的特征以及相似标签之间的相关性,学习标签信息进行标签推理,同时采用注意力机制自学习地融合文档表示和标签表示,最终完成多标签分类任务。在AAPD和RCV1-V2数据集上进行实例验证,该方法的F_(1)值分别达到了0.732和0.887,与其他最新方法相比其准确度均有提升,实验结果证明了标签推理和注意力融合策略的有效性。

基于自适应注意力融合特征提取网络的图像超分辨率

为了应对当前大型图像超分辨率模型参数过多难以部署,以及现有的轻量级图像超分辨率模型性能表现不佳的问题,提出了一种基于自适应注意力融合特征提取网络的图像超分辨率模型。该模型主要由一个大核注意力模块和多个高效注意力融合特征提取模块组成。首先,利用大核注意力模块进行浅层特征提取,然后将提取到的浅层特征信息输入级联的高效注意力融合特征提取模块进行深层特征提取、增强、细化和再分配的聚合操作。高效注意力融合特征提取模块由三个部分组成,分别是渐进式残差特征提取模块、通道对比度感知注意力模块和通道—空间联合注意力模块。该网络可以在利用少量参数的情况下实现更好的图像超分辨率性能,是一种表现优异的轻量级图像超分辨率模型。通过在流行的基准数据集上评估提出的方法,并与现有的一些方法进行对比,结果表明该方法的表现更优异。

从全局到局部:双注意力融合去雾网络

为了处理现有的基于卷积神经网络去雾方法只使用单一的注意力、很难生成细节生动的清晰图像,且容易导致色彩失真的问题,提出了一个全局与局部注意力融合的图像去雾方法,以获得正常清晰度和无色彩失真的去雾图像。首先利用通道注意力将输入的有雾图像在通道维度切分为两部分,一部分送入通道像素注意力通道抽取局部特征,另一部分送入Transformer通道学习全局特征,然后利用像素注意力对两个通道学习的特征进行融合,将上述模块作为基本单元组合为一个多级U型去雾网络,增加残差连接缓解上下采样导致的细节信息丢失,最后在网络底层加入一个Transformer模块学习全局信息。在多个公开可用的去雾图像数据集RESIDE SOTS Indoor、RESIDE SOTS Outdoor上测试所提方法的有效性,结果表明:对比经典的去雾方法,所提网络生成的图像细节更丰富并且色彩失真最少;在RESIDE SOTS Outdoor数据集上,相比经典的FFA-Net,峰值信噪比提高1.16 dB,相比GridDehazeNet,峰值信噪比提高3.68 dB。提出的全局与局部注意力融合方法能有效地去除雾霾,提升图像的对比度与清晰度,设计的多级U型去雾网络和残差连接结构能够缓解细节丢失,提升去雾效果,获得清晰的图像。

面向交通场景解析的局部和全局上下文注意力融合网络

为解决交通场景解析中局部和全局上下文信息自适应聚合的问题,提出3模块架构的局部和全局上下文注意力融合网络(LGCAFN)。前端的特征提取模块由基于串联空洞空间金字塔池化(CASPP)单元改进的ResNet-101组成,能够更加有效地提取物体的多尺度局部特征;中端的结构化学习模块由8路长短期记忆(LSTM)网络分支组成,可以更加准确地推理物体邻近8个不同方向上场景区域的空间结构化特征;后端的特征融合模块采用基于注意力机制的3阶段融合方式,能够自适应地聚合有用的上下文信息并屏蔽噪声上下文信息,且生成的多模态融合特征能够更加全面且准确地表示物体的语义信息。在Cityscapes标准和扩展数据集上的实验结果表明,相较于逆变换网络(ITN)和对象上下文表示网络(OCRN)等方法,LGCAFN实现了最优的平均交并比(mIoU),达到了84.0%和86.3%,表明LGCAFN能够准确地解析交通场景,有助于实现车辆自动驾驶。

基于多级注意力融合机制的藏文实体关系抽取

与中英文相比,藏文实体关系训练语料规模较小,传统有监督的学习方法难以获得较高的准确率。针对基于远程监督的实体关系抽取存在错误标记的问题,利用远程监督方法将知识库与文本对齐,构建藏文实体关系抽取的数据集,提出一个基于多级注意力融合机制的藏文实体关系抽取模型。在词级别引入自注意力机制来提取单词的内部特征,在句子级别引入注意力机制为每个实例分配权重,从而充分利用包含信息的句子,减少噪声实例的权重。同时引入联合评分函数,修正远程监督的错误标签,并将神经网络与支持向量机结合,实现藏文实体关系分类。实验结果表明,提出的模型有效提高了藏文实体关系抽取的准确率,且优于基线模型效果。