基于跨模态注意力融合的煤炭异物检测方法

为解决原煤智能化洗选过程中煤流中夹杂的异物对比度低、相互遮挡导致异物图像检测时特征提取不充分的问题,提出了一种基于跨模态注意力融合的煤炭异物检测方法。通过引入Depth图像构建RGB图像与Depth图像的双特征金字塔网络(DFPN),采用浅层的特征提取策略提取Depth图像的低级特征,用深度边缘与深度纹理等基础特征辅助RGB图像深层特征,以有效获得2种特征的互补信息,从而丰富异物特征的空间与边缘信息,提高检测精度;构建了基于坐标注意力与改进空间注意力的跨模态注意力融合模块(CAFM),以协同优化并融合RGB特征与Depth特征,增强网络对特征图中被遮挡异物可见部分的关注度,提高被遮挡异物检测精度;使用区域卷积神经网络(R-CNN)输出煤炭异物的分类、回归与分割结果。实验结果表明:在检测精度方面,该方法的AP相较两阶段模型中较优的Mask transfiner高3.9%;在检测效率方面,该方法的单帧检测时间为110.5 ms,能够满足异物检测实时性需求。基于跨模态注意力融合的煤炭异物检测方法能够以空间特征辅助色彩、形状与纹理等特征,准确识别煤炭异物之间及煤炭异物与输送带之间的差异,从而有效提高对复杂特征异物的检测精度,减少误检、漏检现象,实现复杂特征下煤炭异物的精确检测与像素级分割。

基于注意力融合网络的方面级多模态情感分类

方面级多模态情感分类任务的一个关键是从文本和视觉两种不同模态中准确地提取和融合互补信息,以检测文本中提及的方面词的情感倾向.现有的方法大多数只利用单一的上下文信息结合图片信息来分析,存在对方面和上下文信息、视觉信息的相关性的识别不敏感,对视觉中的方面相关信息的局部提取不够精准等问题,此外,在进行特征融合时,部分模态信息不全会导致融合效果一般.针对上述问题,本文提出一种注意力融合网络AF-Net模型去进行方面级多模态情感分类,利用空间变换网络STN学习图像中目标的位置信息来帮助提取重要的局部特征;利用基于Transformer的交互网络对方面和文本以及图像之间的关系进行建模,实现多模态交互;同时补充了不同模态特征间的相似信息以及使用多头注意力机制融合多特征信息,表征出多模态信息,最后通过Softmax层取得情感分类的结果.在两个基准数据集上进行实验和对比,结果表明AF-Net能获得较好的性能,提升方面级多模态情感分类的效果.

基于多尺度注意力融合网络的胃癌病理图像分割方法

近年来,随着深度学习技术的发展,基于编解码的图像分割方法在病理图像自动化分析上的研究与应用也逐渐广泛,但由于胃癌病灶复杂多变、尺度变化大,加上数字化染色图像时易导致的边界模糊,目前仅从单一尺度设计的分割算法往往无法获得更精准的病灶边界。为优化胃癌病灶图像分割准确度,基于编解码网络结构,提出一种基于多尺度注意力融合网络的胃癌病灶图像分割算法。编码结构以EfficientNet作为特征提取器,在解码器中通过对多路径不同层级的特征进行提取和融合,实现了网络的深监督,在输出时采用空间和通道注意力对多尺度的特征图进行注意力筛选,同时在训练过程中应用综合损失函数来优化模型。实验结果表明,该方法在SEED数据集上Dice系数得分达到0.806 9,相比FCN和UNet系列网络一定程度上实现了更精细化的胃癌病灶分割。

从全局到局部:双注意力融合去雾网络

为了处理现有的基于卷积神经网络去雾方法只使用单一的注意力、很难生成细节生动的清晰图像,且容易导致色彩失真的问题,提出了一个全局与局部注意力融合的图像去雾方法,以获得正常清晰度和无色彩失真的去雾图像。首先利用通道注意力将输入的有雾图像在通道维度切分为两部分,一部分送入通道像素注意力通道抽取局部特征,另一部分送入Transformer通道学习全局特征,然后利用像素注意力对两个通道学习的特征进行融合,将上述模块作为基本单元组合为一个多级U型去雾网络,增加残差连接缓解上下采样导致的细节信息丢失,最后在网络底层加入一个Transformer模块学习全局信息。在多个公开可用的去雾图像数据集RESIDE SOTS Indoor、RESIDE SOTS Outdoor上测试所提方法的有效性,结果表明:对比经典的去雾方法,所提网络生成的图像细节更丰富并且色彩失真最少;在RESIDE SOTS Outdoor数据集上,相比经典的FFA-Net,峰值信噪比提高1.16 dB,相比GridDehazeNet,峰值信噪比提高3.68 dB。提出的全局与局部注意力融合方法能有效地去除雾霾,提升图像的对比度与清晰度,设计的多级U型去雾网络和残差连接结构能够缓解细节丢失,提升去雾效果,获得清晰的图像。

面向交通场景解析的局部和全局上下文注意力融合网络

为解决交通场景解析中局部和全局上下文信息自适应聚合的问题,提出3模块架构的局部和全局上下文注意力融合网络(LGCAFN)。前端的特征提取模块由基于串联空洞空间金字塔池化(CASPP)单元改进的ResNet-101组成,能够更加有效地提取物体的多尺度局部特征;中端的结构化学习模块由8路长短期记忆(LSTM)网络分支组成,可以更加准确地推理物体邻近8个不同方向上场景区域的空间结构化特征;后端的特征融合模块采用基于注意力机制的3阶段融合方式,能够自适应地聚合有用的上下文信息并屏蔽噪声上下文信息,且生成的多模态融合特征能够更加全面且准确地表示物体的语义信息。在Cityscapes标准和扩展数据集上的实验结果表明,相较于逆变换网络(ITN)和对象上下文表示网络(OCRN)等方法,LGCAFN实现了最优的平均交并比(mIoU),达到了84.0%和86.3%,表明LGCAFN能够准确地解析交通场景,有助于实现车辆自动驾驶。

基于自适应注意力融合特征提取网络的图像超分辨率

为了应对当前大型图像超分辨率模型参数过多难以部署,以及现有的轻量级图像超分辨率模型性能表现不佳的问题,提出了一种基于自适应注意力融合特征提取网络的图像超分辨率模型。该模型主要由一个大核注意力模块和多个高效注意力融合特征提取模块组成。首先,利用大核注意力模块进行浅层特征提取,然后将提取到的浅层特征信息输入级联的高效注意力融合特征提取模块进行深层特征提取、增强、细化和再分配的聚合操作。高效注意力融合特征提取模块由三个部分组成,分别是渐进式残差特征提取模块、通道对比度感知注意力模块和通道—空间联合注意力模块。该网络可以在利用少量参数的情况下实现更好的图像超分辨率性能,是一种表现优异的轻量级图像超分辨率模型。通过在流行的基准数据集上评估提出的方法,并与现有的一些方法进行对比,结果表明该方法的表现更优异。

基于统一注意力融合网络的耕地变化检测

为了快速摸清农村乱占耕地建房底数,实现对侵占耕地房屋的检测,提出了一种统一注意力融合网络(Unified Attention Fusion Network)用于农村占用耕地建房识别。为了解决不同时相遥感影像特征相互影响的问题,首先使用孪生网络代替VGG16网络进行特征提取。其次,为了在增大网络感受野并获取更多多尺度信息的前提下减小网络模型大小,在编码阶段最底层使用了简易金字塔池化(Simple Pyramid Pooling Module,SPPM);在解码阶段,为了提高分割精度,突出有用特征,提高边缘分割精度,使用统一注意力融合模块(Unified Attention Fusion Module,UAFM)替换原始的上采样部分进行解码,获取变化检测结果。网络在占用耕地建房数据集上进行了训练和测试。实验结果表明,统一注意力融合网络在测试集上准确率(Accuracy)达到98.82%、精确率(Precision)达到89.69%、召回率(Recall)达到82.14%、F1分数(F1 Score)达到85.74%,能够快速识别不同尺度的疑似占用耕地的违建房屋,为农村乱占耕地建房整治工作提供一种技术检测方法。

基于多维注意力融合的驾驶场景分割增强算法

针对使用注意力机制的语义分割模型计算资源消耗与精度不平衡的问题,提出一种轻量化的语义分割注意力增强算法。首先,基于驾驶场景中物体的形状特点设计了条状分维注意力机制,使用条形池化代替传统方形卷积,并结合降维操作分维度提取长程语义关联,削减模型计算量。接着融合通道域与空间域上的注意力,形成可叠加与拆解的轻量化多维注意力融合模块,全方位提取特征信息,进一步提升模型精度。最后,将模块插入基于ResNet-101骨干网的编码—解码网络中,指导高低层语义融合,矫正特征图边缘信息,补充预测细节。实验表明,该模块有较强的鲁棒性和泛化能力,与同类型注意力机制相比,削减了约90%的参数量以及80%的计算量,且分割精度依旧取得了稳定的提升。

一种双注意力融合生成对抗网络的水下图像增强模型

针对水下图像在生成过程中会受到水下杂质污染以及光的吸收等问题,提出了一种双注意力融合生成对抗网络的水下图像增强模型。该模型使用了最新的Pix2Pix网络架构,并通过构建的双注意力机制结构建立丰富的上下文信息来处理水下图像,在模型生成器UNet网络首部增加了改进型Non-local模块,从多尺度角度获取更多全局特征,从而得到更加清晰的图像,在生成器尾部引入了Transformer模块,通过其优异的多头注意力块和多层感知机等结构来提升模型综合性能,从而进一步提升模型语义信息提取能力。实验结果表明,该模型在基准数据集EUVP上的峰值信噪比、结构相似性、水下图像质量评价指标相比其他模型平均提升了5.83%、4.88%和18.02%,而在基准数据集EUVP上的相应指标平均提升了6.21%、17.33%和15.96%。在主观可视化结果下,该模型也能适当处理图像退化问题,使图像呈现更好的清晰度和对比度。

基于多层交叉注意力融合网络模型的人脸图像情感分析

目前大多数人脸图像情感分析方法只单方面关注图像整体或局部来构建视觉情感特征表示,忽略了二者在情感表达上的协同作用。针对此问题,提出了一种多层交叉注意力融合网络情感分析方法。该方法首先利用特征相关性分析实现最大化类的可分性;其次通过多层交叉注意力网络中的多个不重叠的注意力区域来提取整体和局部的信息;然后将整体与局部提取的注意力图进行融合,来共同训练图像情感分类器并进行情感分析。实验结果表明,提出的方法在真实数据集RAFDB上的情感分类准确率达到了88.53%,优于现有其他方法,验证了该方法的有效性与优越性。

基于双重注意力融合和空洞残差特征增强的场景文本检测

针对自然场景中任意形状文本容易漏检、错检的问题,提出了一种基于双重注意力融合和空洞残差特征增强的场景文本检测方法。为了增强文本特征通道之间的潜在联系,提出了双重注意力融合(DAF)模块,采用双向特征金字塔与双重注意力融合模块相结合的方式进行多层的特征融合;另外针对深层特征图在降维的过程中可能造成语义丢失的现象,提出了空洞残差特征增强(D-RFA)模块。通过在弯曲文本数据集CTW1500上的测试表明,该方法的准确率、召回率和F值分别达到了87.8%、84.2%和86.0%,同时在多方向文本数据集ICDAR2015上也有良好的表现,证明了该方法在各种形状文本检测上的有效性。

基于残差注意力融合和门控信息蒸馏的图像修复

图像修复在计算机视觉任务中具有重大的意义和价值。近年来,基于深度学习的图像修复模型被广泛应用于该领域中。但是现有的深度学习图像修复模型存在对破损图像中有效信息的利用不足和受破损图像中掩码信息干扰的问题,从而导致修复出的图像的部分结构缺失和部分细节模糊。为此,文中提出了基于残差注意力融合和门控信息蒸馏的图像修复模型。首先,该图像修复模型由生成器和鉴别器两部分组成,生成器的主干结构采用U-Net网络,由编码器和解码器组成;鉴别器采用马尔可夫鉴别器,由6个卷积层组成。然后,在编码器和解码器中分别构建残差注意力融合结构,以增强破损图像中有效信息的利用和减少掩码信息的干扰。最后,在编码器和解码器的跳跃连接中嵌入门控信息蒸馏模块,进一步提取待修复图像中的有效低级特征。在公开人脸和街景数据集上的实验结果表明:文中模型在语义结构和纹理细节方面具有更好的修复效果;文中模型的结构相似性、峰值信噪比、平均绝对值误差、最小平方误差和弗雷歇距离指标均优于5种对比模型,说明文中模型的修复质量优于对比模型。

多尺度注意力融合和抗噪声的轻量点云人脸识别模型

在低质量点云人脸数据集上,判别性特征的提取和模型对噪声的鲁棒性是解决点云人脸识别问题的关键。针对现有轻量点云人脸识别算法不能充分提取判别性特征和数据集中存在大量噪声而影响模型训练的问题,设计轻量高效的网络模型,提出了基于多尺度注意力融合和抗噪声的自适应损失函数的点云人脸识别算法。首先通过不同卷积模块获得不同感受野大小的特征图。然后进行多尺度的注意力特征提取,并使用高层的注意力权重来引导低层注意力权重的生成,最后进行通道融合得到多尺度融合的特征,提升了模型捕获人脸细节特征的能力。其次,根据低质量点云人脸图像的噪声信息特点,设计了一种新颖的抗噪声的自适应损失函数(anti-noise adaptiveloss),以应对数据集大量噪声对模型训练过程中可能造成的负面影响,提升模型的鲁棒性和泛化能力。在开源数据集Lock3DFace和本文提出的KinectFaces数据集上的实验结果表明,与当前的主流算法相比该算法模型在低质量点云人脸识别任务中具有更好的识别效果。

基于组件特征与多注意力融合的车辆重识别方法

为提升车辆重识别算法的性能,提出一种基于车辆组件特征与多注意力融合的特征学习方法.首先,修改深度残差网络以获取具有丰富语义信息的特征图,同时应用语义分割网络将车辆图像划分为车辆正面、背面、顶面、侧面及背景区域,以实现组件特征提取并消除视角变化的影响.然后,设计多注意力融合模块,基于面积注意力与特征注意力实现组件特征的自适应融合.最后,在多任务学习框架下,优化车辆重识别的三元组损失与辅助分类任务的交叉熵与焦点损失,对网络参数进行训练.在多个数据集上的实验结果表明,提出的方法在大多数性能指标上均超越了现有方法.进一步的消融实验证明了多注意力融合模块与多任务损失函数在特征提取上的有效性.

基于标签推理和注意力融合的多标签文本分类方法

目前许多多标签文本分类方法主要关注文档表示,而丢失了大量标签相关的语义信息,导致分类效果不理想。针对以上问题,提出一种基于标签推理和注意力融合的分类方法,挖掘文档中与标签相关的特征以及相似标签之间的相关性,学习标签信息进行标签推理,同时采用注意力机制自学习地融合文档表示和标签表示,最终完成多标签分类任务。在AAPD和RCV1-V2数据集上进行实例验证,该方法的F_(1)值分别达到了0.732和0.887,与其他最新方法相比其准确度均有提升,实验结果证明了标签推理和注意力融合策略的有效性。

基于多级注意力融合机制的藏文实体关系抽取

与中英文相比,藏文实体关系训练语料规模较小,传统有监督的学习方法难以获得较高的准确率。针对基于远程监督的实体关系抽取存在错误标记的问题,利用远程监督方法将知识库与文本对齐,构建藏文实体关系抽取的数据集,提出一个基于多级注意力融合机制的藏文实体关系抽取模型。在词级别引入自注意力机制来提取单词的内部特征,在句子级别引入注意力机制为每个实例分配权重,从而充分利用包含信息的句子,减少噪声实例的权重。同时引入联合评分函数,修正远程监督的错误标签,并将神经网络与支持向量机结合,实现藏文实体关系分类。实验结果表明,提出的模型有效提高了藏文实体关系抽取的准确率,且优于基线模型效果。

多视角多注意力融合分子特征的药物-靶标亲和力预测

近期深度学习在药物-靶标亲和力(DTA)任务上受到极大关注,然而现有工作多将分子单一结构嵌入为向量,忽略了多视角融合分子特征对最终特征表示提供的信息增益。针对单一结构分子存在特征不完备性的问题,提出了一种基于注意力融合多视角分子特征的预测DTA的端到端深度学习方法,其核心模块为多视角分子结构嵌入(Mas)和多注意力特征融合(Mat)。首先,使用Mas模块将多视角分子结构嵌入到特征向量空间;然后,通过Mat模块融入分子特征层级的注意力机制,从而对不同视角的分子特征进行加权融合;其次,根据药物-靶标相互作用(DTI)执行两者特征级联;最后,利用全连接神经网络回归预测亲和力。在Davis和KIBA数据集上的实验验证了训练比率、多视角特征融入、多注意力融合、以及相关参数对亲和力预测性能的影响。与GraphDTA方法相比,所提方法的均方误差(MSE)在Davis和KIBA两个数据集上分别降低了4.8%和6%。实验结果表明,注意力融合多视角分子特征能够捕获对蛋白质靶位上链接的相关性更高的分子特征。

AF-CenterNet:基于交叉注意力机制的毫米波雷达和相机融合的目标检测

对于自动驾驶领域而言,确保在各种天气和光照条件下精确检测其他车辆目标是至关重要的。针对单个传感器获取信息的局限性,提出一种基于cross-attention注意力机制的融合方法(AF),用于在特征层面上融合毫米波雷达和相机信息。首先,将毫米波雷达和相机进行空间对齐,并将对齐后的点云信息投影成点云图像。然后,将点云图像在高度和宽度方向上进行扩展,以提高相机图像和点云图像之间的匹配度。最后,将点云图像和相机图像送入包含AF结构的CenterNet目标检测网络中进行训练,并生成一个空间注意力权重,以增强相机中的关键特征。实验结果表明,AF结构可以提高原网络检测各种大小目标的性能,特别是对小目标的检测提升更为明显,且对系统的实时性影响不大,是提高车辆在多种场景下检测精度的理想选择。

基于层级化注意力融合的航拍图像电力线分割模型

电力线自动分割是保证智能检测平台安全运行的重要前提。然而,电力线分割是复杂背景、多种气候环境下的小目标分割问题,极易出现误检、漏检问题。为了提高电力线分割的鲁棒性与准确性,结合编码器-解码器框架,提出了一种基于层级化注意力融合的端到端分割模型。该模型提出一种降维残差卷积单元,增加网络深度的同时大幅度减少网络参数,更易部署于嵌入式设备。为了使模型捕捉到全局信息并强调电力线的目标区域,设计了链式层级化注意力融合模块进行多尺度特征融合,以解决类别不均衡问题。为了提高模型对电力线特有的直线先验特征的关注,提出了直线先验损失函数,并与Focal、Dice损失函数组合成联合损失函数,进一步提高了电力线分割准确度。实验结果表明,所提模型网络深度增加为基础网络的2.8倍左右,而参数量仅为原来的1/3左右。针对常规天气和雾天环境下的航拍图像均能实现电力线的鲁棒分割。所提出模型能应用于电力巡检领域,使巡检更加智能与高效。

基于多光谱交互注意力融合的多尺度无人机小目标检测

针对无人机检测中存在的目标较小、受背景环境影响大、以及多光谱特征难以深度融合等问题,本文提出了针对无人机小目标检测的多尺度多光谱交互注意力融合目标检测模型.首先,将骨干网络设计为双流网络,分别提取不同尺度红外和可见光特征,并增加小目标检测层和BiFPN级联操作,提升对无人机小目标特征的提取能力.其次,创新性的设计了多光谱交互注意力融合模块,在该融合模块的指导下,网络可以在不同尺度融合红外和可见光模态的信息,使红外和可见光的特征进行深度聚合,发挥各自模态的优势,指导开展无人机小目标检测.实验结果表明,与最先进的多光谱目标检测模型相比,本文提出的模型在FLIR、LLVIP两个公开的多光谱目标检测数据集上都达到了优越的性能,在构建的多光谱无人机数据集上,本文提出的模型有效提升了无人机的检测精度和鲁棒性.