基于跨模态注意力融合的煤炭异物检测方法

为解决原煤智能化洗选过程中煤流中夹杂的异物对比度低、相互遮挡导致异物图像检测时特征提取不充分的问题,提出了一种基于跨模态注意力融合的煤炭异物检测方法。通过引入Depth图像构建RGB图像与Depth图像的双特征金字塔网络(DFPN),采用浅层的特征提取策略提取Depth图像的低级特征,用深度边缘与深度纹理等基础特征辅助RGB图像深层特征,以有效获得2种特征的互补信息,从而丰富异物特征的空间与边缘信息,提高检测精度;构建了基于坐标注意力与改进空间注意力的跨模态注意力融合模块(CAFM),以协同优化并融合RGB特征与Depth特征,增强网络对特征图中被遮挡异物可见部分的关注度,提高被遮挡异物检测精度;使用区域卷积神经网络(R-CNN)输出煤炭异物的分类、回归与分割结果。实验结果表明:在检测精度方面,该方法的AP相较两阶段模型中较优的Mask transfiner高3.9%;在检测效率方面,该方法的单帧检测时间为110.5 ms,能够满足异物检测实时性需求。基于跨模态注意力融合的煤炭异物检测方法能够以空间特征辅助色彩、形状与纹理等特征,准确识别煤炭异物之间及煤炭异物与输送带之间的差异,从而有效提高对复杂特征异物的检测精度,减少误检、漏检现象,实现复杂特征下煤炭异物的精确检测与像素级分割。

基于注意力机制及多分支特征融合的实时语义分割算法

为了合理平衡语义分割中的精确度与实时性,基于快速卷积神经网络模型(Fast-SCNN)提出了一种基于注意力机制及多分支特征融合的实时语义分割算法模型。该算法模型首先通过注意力模块捕获空间特征之间的相互联系,增强空间细节信息;然后合理设计融合模块,最大化利用各分支信息,实现深层特征与浅层特征更好的融合;最后引入自适应特征增强注意力模块,捕获长距离像素间的相互依赖关系。实验结果表明,文中算法模型在Cityscapes数据集上获得了71.55%的分割精度,推理速度FPS达到97.6帧/s,模型参数量为1.39 M,验证了该算法所构成网络模型的有效性。

基于改进卷积注意力机制的触觉图像识别

为了改善传统轻量化网络对触觉图像全局特征提取能力差的问题,提出一种基于轻量化网络提高触觉图像感知分类的新算法,通过将卷积块注意力模块(CBAM)引入坐标注意力机制(CA)来增强特征信息表达能力.利用CA采取空间全局信息并嵌入通道注意中,使卷积网络能够在较全面的区域捕获注意力权重.结果表明:所提算法优于现有轻量化网络算法;该算法对GelSight数据集、多模态传感器数据集2种触觉图像进行分类识别测试,在分类表现中分辨正确率分别达到了88.2%和94.4%;相比于传统的CBAM注意力模型、自注意力模型(SENet)和仅有LeNet的神经网络,该算法对触觉图像的识别能力在GelSight数据集上分别提高了8.7%、8.7%和3.0%,在多模态传感器数据集上分别提高了13.3%、13.4%和4.8%.

基于多任务联合注意力的结肠息肉分割网络

结肠息肉具有边界不清晰且大小、颜色、形状各异的特点,使得采用深度学习方法提高其分割性能仍是一项极具挑战性的工作。为提高息肉分割的准确率,提出一种基于多任务联合注意力的结肠息肉分割网络CPMJA-Net。为改善Transformer缺乏机制来增强局部区域信息交换的问题,设计级联融合模块以增强网络的局部特征表示,有助于息肉边缘的识别和恢复。受多头Self-Attention机制的启发,构建多任务注意力模块,采用渐进式融合的方式将不同模块得到的特征图逐步进行融合,以凸显关键信息并抑制干扰信息。为更好聚合图像的高级和低级特征,设计联合注意力模块,利用高级特征的轮廓信息在低级特征中筛选出有利于边缘分割的细节特征,并将其与息肉轮廓聚合起来,得到更加精确的边缘分割结果。实验结果表明,CPMJA-Net在4个公开数据集上的性能表现均为最优,与次优的算法相比,CPMJA-Net的mDice系数分别在Kvasir、CVC-CilinicDB、CVC-ColonDB和ETIS数据集上提升0.7、0.8、0.4、0.4个百分点,平均交并比(mIoU)也分别提升1.6、1.2、0.6、0.5个百分点,其能改善过分割问题,弥补注意力机制的不足,提升解码器的细节恢复能力。

基于注意力机制的轻量化YOLO v5s蓝莓检测算法

为实现自然环境下蓝莓的精确快速检测,在YOLO v5s的基础上提出了一种结合轻量级网络和注意力机制的改进算法。首先,在主干网络和检测头的位置去除了最大目标检测层的结构,因而降低模型的参数量,增强模型对小目标的检测能力。其次,将MHSA(Multi‐head self‐attention,多头自注意力)替换了SPPF(Spatial pyramid pooling‐fast,快速空间金字塔池化)前面的C3模块,使模型学习到更全面的特征表示,增强模型对蓝莓图像中复杂空间关系和上下文信息的理解能力。最后,在C3模块中加入了S-PSA(Sequential polarized self‐attention,顺序极化自注意力),以便模型能够更好地捕捉特征图中相邻区域之间的上下文依赖关系。结果表明,改进后的YOLO v5s算法对成熟、半成熟和未成熟蓝莓的检测精度分别提升1.2、4.4、2.6百分点,平均精度提升2.7百分点,模型参数量减少76.0%。与当前主流轻量化目标检测模型相比,改进后的模型性能更加优越,能为自然环境下蓝莓采摘机器人视觉系统提供一种有效的方案。

基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络(CNN)结合端口注意力模块(PAM)和通道空间注意力模块(CBAM)的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。

政府参与下考虑有限注意力的CCUS项目股权投资决策分析

碳捕获、利用与封存(carbon capture, utilization and storage, CCUS)项目的规模化需要风险资本支撑,然而气候政策与项目研发的不确定性造成注意力有限的风险投资机构投资意愿较低。为打破“能源企业不改造,风险投资机构不投资”的“囚徒困境”,本文基于投资方的注意力驱动交易行为构建了能源企业-风险投资机构-政府的演化博弈模型,从政策的“显著性”事件特征入手探讨政府在CCUS项目推广中的激励作用。结果表明:(1)向风险投资机构传递“显眼”信息的政府政策有助于打破当前融资困境;(2)三方参与概率高于30%即可实现CCUS项目股权投资的帕累托最优,且概率越高,演化速度越快;(3)政府实施的补贴和风险分担机制对融资的促进作用均显著,但初期风险分担机制因无法呈现“显著性”特征而难以吸引投资方注意力,效果弱于补贴机制。鉴于此,本文从引导多主体参与,建立信息披露机制,完善政府激励机制和提高碳资产管理效率等方面提出建议,以期为加快CCUS项目商业化提供理论借鉴。

基于时空注意力机制的视频引导机器翻译方法

视频引导机器翻译是一种多模态机器翻译任务,其目标是通过视频和文本的结合产生高质量的文本翻译。但是之前的工作只基于视频中的时间结构选择相关片段引导机器翻译,所选片段中存在大量与目标语言无关的信息。因此,在翻译过程中,视频中的时空结构没有得到充分利用,从而无法有效缓解机器翻译中细节缺失或翻译错误的问题。为了解决这一问题,该文提出了一种基于时空注意力(Spatial-Temporal Attention,STA)的模型来充分利用视频中的时空信息引导机器翻译。该文提出的注意力模型不但能够选择与目标语言最相关的时空片段,而且能进一步聚焦片段中最相关的实体信息。所关注的实体信息能有效增强源语言和目标语言的语义对齐,从而使得源语言中的细节信息得到准确翻译。该文的方法基于Vatex公共数据集和构建的汉-越低资源数据集进行实验,在Vatex与汉-越低资源数据集上BLEU4分别达到32.66和18.46,相比于时间注意力基线方法提高了3.54与0.89个BLEU值。

基于跨模态交叉注意力网络的多模态情感分析方法

挖掘不同模态内信息和模态间信息有助于提升多模态情感分析的性能,本文为此提出一种基于跨模态交叉注意力网络的多模态情感分析方法。首先,利用VGG-16网络将多模态数据映射到全局特征空间;同时,利用Swin Transformer网络将多模态数据映射到局部特征空间;其次,构造模态内自注意力和模态间交叉注意力特征;然后,设计一种跨模态交叉注意力融合模块实现不同模态内和模态间特征的深度融合,提升多模态特征表达的可靠性;最后,通过Softmax获得最终预测结果。在2个开源数据集CMU-MOSI和CMU-MSOEI上进行测试,本文模型在七分类任务上获得45.9%和54.1%的准确率,相比当前MCGMF模型,提升了0.66%和2.46%,综合性能提升显著。

基于改进图注意力网络的油井产量预测模型

针对图注意力网络处理噪声和时序数据较弱,并且在堆叠多层后出现梯度爆炸、过平滑等问题,提出一种改进图注意力网络模型.首先,使用Squeeze-and-Excitation模块对样本输入数据的特征信息进行不同程度关注,增强模型处理噪声的能力;其次,使用多头注意力机制,将序列数据中每个序列相对其他序列进行加权求和,提取数据的时序性;再次,将图注意力网络提取的节点特征与节点的度中心性拼接,获取节点的局部特征,并用全局平均池化的方式提取节点的全局特征;最后,将两者进行融合得到节点的最终特征表示,增强模型的表征能力.为验证改进图注意力网络的有效性,将改进图注意力网络模型与LSTM,GRU和GGNN模型进行对比,实验结果表明,该模型预测效果得到有效提升,具有更高的预测精度.

多尺度残差密集注意力网络图像超分辨率重建

目的使用单一尺度卷积网络提取低分辨率(low-resolution,LR)图像特征会造成大量图像高频特征丢失,为了获取更多高频特征,重建更清晰的超分辨率图像,方法提出一种基于多尺度残差密集注意力网络(multi-scale residual dense attention network)的单幅图像超分辨率重建算法。首先,使用卷积网络从低分辨率图像中提取浅层特征并将其作为后续网络各级输入;其次,采用各级多尺度残差密集注意力块(multi-scale residual dense attention block)处理前级网络图像特征并从中提取图像高频特征,多尺度残差密集网络善于提取更丰富的图像特征,并融入注意力机制,增强网络对高频区域特征的关注;然后,将网络各级提取不同深度的图像特征进行全局特征融合;最后,融合后的特征经上采样输出重建的超分辨率图像。结果放大因子为4时,网络在SET5,SET14,BSDS100,URBAN100和MANGA109数据集上测试,峰值信噪比分别为31.97,28.58,27.57,25.85,29.79 dB;网络中基本模块分别由多尺度残差密集注意力块、残差块和密集块替换提取特征,以峰值信噪比作为模块性能评估标准,多尺度残差密集注意力块表现更优异。结论该网络结合多尺度残差密集网络能够获取更丰富图像高低频信息,融入注意力机制有效对网络中高频信息进行提取,能重建纹理更清晰的超分辨率图像。

融合图注意力网络和注意力因子分解机的服务推荐方法

为了解决服务推荐过程中的特征稀疏问题、提高服务的语义表示能力,进而提升推荐的准确性和有效性,提出基于图注意力网络(graph attention networks,GAT)研究服务推荐方法,引入服务的组合权重和组合的结构信息,综合利用多种服务特征,提高服务推荐质量。将GAT和注意力因子分解机(attention factorization machine,AFM)结合在一起,利用多头自注意力机制,学习每个节点在图邻域中的重要性;进行信息聚合,处理网络中的不同图结构,以适应服务动态变化的场景。实验结果显示,在数据平衡的情况下,提出的方法性能表现均好于对比方法;在数据不平衡的情况下,提出的方法大部分性能指标也表现良好,达到了提升服务推荐准确性和有效性的目标。

双注意力随机选择全局上下文细粒度识别网络

针对细粒度图像识别任务中易忽视微小潜在性特征且外观差异细微等问题,提出一种基于双注意力随机选择全局上下文细粒度识别网络。首先,使用ConvNeXt作为主干网络,提出双注意力随机选择模块,对不同阶段提取到的特征进行通道随机选择和空间随机选择,使网络能够关注到其他潜在微小判别性特征;其次,利用全局上下文注意力模块将深层特征的语义信息融合到中间层,增强中间层定位微小特征的能力;最后,提出一种多分支损失,对中间层、深层和拼接层特征引入分类损失,结合不同分支提取到的特征,诱导网络获得多样性的判别特征。所提网络在Stanford-cars、CUB-200-2011、FGVC-Aircraft 3个公开细粒度数据集和真实场景下车型数据集VMRURS上分别达到了95.2%、92.1%、94.0%和97.0%的识别准确率,其性能相比其他对比方法有较大幅度提升。

融合边界注意力的特征挖掘息肉小目标网络

从结肠图像中分割息肉小目标病变区域对于预防结直肠癌至关重要,它可以为结直肠癌的诊断提供有价值的信息。然而目前现有的方法存在2个局限性:一是不能稳健捕获全局上下文信息,二是未能充分挖掘细粒度细节特征信息。因此,提出融合边界注意力的特征挖掘息肉小目标网络(transformer feature boundary network,TFB-Net)。该网络主要包括3个核心模块:首先,采用Transformer辅助编码器建立长程依赖关系,补充全局信息;其次,设计特征挖掘模块进一步细化特征,学习到更好的特征;最后,使用边界反转注意力模块加强对边界语义空间的关注,提高区域辨别能力。在5个息肉小目标数据集上进行广泛实验,实验结果表明TFBNet具有优越的分割性能。

基于局部-邻域图信息与注意力机制的会话推荐

针对基于匿名用户的会话推荐忽略了不同会话之间可能存在的协作信息,以及未考虑所预测的目标项与历史行为的相关性问题,提出一种基于局部-邻域图信息与注意力机制的会话推荐模型(SR-LNG-AM)。从当前会话和邻域会话构建的图结构中分别学习两种类型的项目转换信息,将其融合得到项目嵌入。使用软注意力机制生成全局嵌入,使用目标注意力机制针对不同的目标项自适应生成不同的目标嵌入。结合局部嵌入,进行预测。在两个真实数据集上与多个基线方法进行实验对比,实验指标均有提高,验证了该方法的有效性。

基于双仿射注意力的迭代式开放域信息抽取

当前的开放域信息抽取(OpenIE)方法无法同时兼顾抽取结果的紧凑性和模型的性能,导致其抽取结果不能更好地被应用到下游任务中。为此,提出一个基于双仿射注意力进行表格填充及迭代抽取的模型。首先,该模型通过双仿射注意力学习单词之间的方向信息、捕获单词对之间的相互作用,随后对二维表格进行填充,使句子中的成分相互共享并识别紧凑成分;其次,使用多头注意力机制将谓词和参数的表示应用于上下文的嵌入中,使谓词和参数的提取相互依赖,更好地链接关系成分和参数成分;最后,对于含有多个关系成分的句子,使用迭代抽取的方式在无须重新编码的情况下捕获每次提取之间固有的依赖关系。在公开数据集CaRB和Wire57上的实验表明,该方法比基线方法实现了更高的精度和召回率,F_(1)值提升了至少1.4%和3.2%,同时产生了更短、语义更丰富的提取。

融合改进残差网络和注意力的黏土矿物图像分类

黏土矿物是广泛存在于沉积盆地中的含水铝硅酸盐矿物,通过扫描电子显微镜(scanning electron microscopy,SEM)获取黏土矿物在此基础上进行识别,需要获取黏土矿物的多样性和易于分辨的特征信息,然而卷积神经网络其特征提取能力仍存在不足,特征表达能力亟须增强。底层特征通常包含了图像的基本信息和细节,高层次的特征图抽象程度较高,包含了更为抽象化的信息。因此提出了一种以Res2Net50为主干网络,引入高效通道注意力(efficient channel attention,ECA)模块使模型更关注底层特征,从而提升模型性能,最后一层采用多头注意力(multi-head self-attention,MHSA)模块学习到不同层次的特征表示。采用混合方式同时利用了CNN的特征提取能力、Transformer的内容自注意力机制提升模型的特征表达能力,取得了优于Res2Net50的性能。结果表明:提出的EM-Res2Net(ECA-MHSA-Res2Net50)对128×128像素输入的矿物识别效果更为理想,经测试识别准确率为92.85%,通过与其他模型对比分析,该研究结果证明引入ECA模块和MHSA模块后的模型能够充分提取图像的特征,具有更高的准确率和时效性。

融合移位窗口注意力的光流计算方法

针对端到端的光流计算方法容易受限于运动模糊、遮挡和大位移的问题,通过引入注意力机制实现对遮挡像素进行更准确的预测,提出一种融合移位窗口注意力的光流计算方法.首先使用移位窗口注意力对原有的特征图进行特征增强,获取更具全局自相似性的特征,弥补了卷积特征的局部性特点;然后使用移位窗口注意力进行相关体解析,包括2D运动向量解析和光流增量的计算,获得更准确的光流增量;最后引入遮挡图作为位置编码,在计算注意力时考虑更多的像素位置关系.实验结果表明,在Sintel数据集上,端到端的误差达到1.33;在FlyingChairs数据集上,单帧计算时间为69 ms,比全局运动聚合方法减少4.2%,超过了常见光流计算方法的精度和效率.

融合知识图谱和图注意力网络的旅游推荐算法

为缓解旅游推荐模型面临的数据稀疏和冷启动的问题,提出一种融合知识图谱和图注意力网络的旅游推荐算法KRGAT(knowledge ripple graph attention network)。借助水波网络从用户的历史旅游行为和知识图谱中挖掘用户偏好增强用户特征表示,针对当前旅游项目特征学习的方法难以提取节点深层特征的问题,利用图注意力网络聚合相关度更高的邻居节点信息,增强旅游项目特征表示。实验在自建立的旅游数据集上与5个基线方法进行对比,其结果表明,KRGAT的精确率(P)、召回率(R)和AUC值分别提升了5.73%、4.42%和1.42%。

基于混合域残差注意力网络的滚动轴承智能故障诊断方法

机械设备正朝着大型化、精密化和自动化的方向发展,机械系统也因此变得越来越复杂。考虑到机械系统可能会发生无特征的灾难性故障,因此机械故障的自动检测是一个巨大的挑战。然而,现有的故障检测方法在对高度复杂的工业系统进行故障类型识别时,误诊率较高,无法给出准确的故障诊断结果。针对这一问题,本文以滚动轴承这一机械设备关键部件作为研究对象,提出一种基于混合域残差注意力网络的故障诊断方法,旨在结合深度卷积神经网络自动学习表示的优点,并配合通道注意力机制和空间注意力机制的关键特征提取能力,提高故障检测性能。实验结果表明,所提出的方法能够准确地检测轴承故障类型,在准确度指标方面优于其他方法。