融合门控注意力机制与双线性特征交互的推荐模型

为了在影视、书籍等单一类型推荐中准确地表达用户的真实偏好,充分地捕获到推荐数据中的有效特征,研究并提出一种融合门控注意力机制与双线性特征交互的推荐模型。使用融入门控机制的注意力单元来对用户的局部显性偏好建模,使用双线性特征交互层来对用户的长期泛性偏好进行挖掘,以提升深度推荐模型的学习能力。在Amazon(Books)和MovieLens-1M两个公开数据集中进行实验,实验结果表明所提模型相比于其他推荐模型,推荐效果有一定程度的提升。

基于双线性RepVGG注意力网络的花卉分类

为进一步提高花卉分类的准确率,在对双线性卷积神经网络、RepVGG及注意力机制进行研究的基础上,提出一种基于双线性RepVGG注意力机制的网络模型。首先利用RepVGG网络替换原始的特征提取网络VGG,以提高对花卉主要特征的提取能力;然后在两个RepVGG网络中分别引入通道注意力及空间注意力机制,并利用两个RepVGG网络外积后生成的高维双线性特征,来提取花卉的细粒度特征;最后通过结构重参数化,将RepVGG的各层转换为单路结构,以提高模型推理的速度。实验结果表明,在增强的Oxford-102数据集上,新模型与原始模型及常见模型相比,其推理速度及分类准确率均有较大的提升,与未引入注意力前相比,分类准确率也有一定的提升。

基于混合域注意力机制的神经网络反演大气湍流强度

本文提出了一种基于混合域注意力机制的神经网络方法反演大气湍流强度。神经网络的输入为不同大气湍流强度下的退化图像,输出为表征大气湍流强度的折射率结构常数。混合域注意力机制由空间域和通道域双重注意力机制组成,其中空间域注意力机制用于增强退化图像中受湍流影响的区域特征,通道域注意力机制用于增强由湍流引起的颜色和纹理特征。在网络训练阶段,引入的混合域注意力机制让神经网络更专注于退化图像中与大气湍流强度相关的特征,提高了模型的精度。数值实验结果表明,本文提出的方法能够较准确地实现大气湍流强度反演。

基于改进U-Net和混合注意力机制的高质量全尺寸图像隐写方法

图像隐写术是一种将秘密信息隐藏在图像中以防止被发现的技术。当前的图像隐写模型存在图像生成质量差和抗隐写分析能力弱等问题。混合注意力机制不仅可以抑制无意义的通道信息,避免其在含密图像上产生伪影,而且可以根据载体图像中不同位置的重要程度分配不同的权重,为秘密信息寻找更合适的隐藏区域。基于上述特点,文章提出了基于U-Net和混合注意力机制的高质量全尺寸图像隐写方法。文章所提方法的模型由编码器、提取器和判别器三个子网组成。编码器采用改进的U-Net结构和混合注意力机制模块进行设计;提取器采用卷积神经网络和混合注意力机制模块进行设计;判别器则用于增强模型的安全性。实验结果表明,该方法能够将尺寸为256×256的彩色秘密图像完全隐藏在同尺寸的彩色载体图像中,在不降低隐写容量的情况下实现高质量的图像隐写。该方法在ImageNet、COCO、DIV2K三个数据集上都展现了良好的视觉质量和隐藏容量,在ImageNet数据集上,PSNR值最高可达40.143dB(载体图像与含密图像)和42.082dB(秘密图像与重构的秘密图像),同时还能够提高模型的抗隐写分析能力。

融合非负正弦位置编码和混合注意力机制的情感分析模型

针对情感分析任务中,序列模型存在难以获取文本的相对位置信息,且处理较长序列时容易丢失关键信息等问题,提出了一种融合非负正弦位置编码(non-negative sinusoidal position encoding,NSPE)和混合注意力机制(hybrid attention mechanism,HAM)的双向长短期记忆网络(bi-directional long short-term memory,Bi-LSTM)情感分析模型(NSPEHA-BiLSTM)。提出NSPE方法,建立词语的NSPE,为词向量融入相对位置信息;通过Bi-LSTM提取文本特征,并基于HAM分别对特征的全局和局部特征进行赋权,确保关键信息的准确传递;通过全连接层实现文本情感分析。在IMDB数据集中,NSPEA-BiLSTM相较于Bi-LSTM和Text-CNN准确率分别提升了4.67和2.02个百分点,且输入的文本长度越长,模型效果越好,同时验证了NSPE优于其他位置编码。

基于多尺度混合域注意力机制的笔迹鉴别方法

针对笔迹鉴别任务中图像大面积是背景、笔迹信息稀疏、关键性信息难以捕捉,并且个人笔迹签名风格具有微小变化而刻意模仿的笔迹高度相似,以及公开的中文笔迹数据集的匮乏的问题,通过对注意力机制和孪生网络模型进行改进,提出一种基于多尺度混合域注意力机制的笔迹鉴别方法(MMDANet)。首先,在有效通道注意力模块上并联一个最大池化层,并将二维条带池化模块的通道数扩展到三维,将改进的有效通道注意力模块和条带池化模块融合生成混合域模块(MDM),解决了笔迹图像大面积是背景、笔迹信息稀疏、细节特征难以提取的问题;其次,利用PANet特征金字塔进行多尺度提取特征,捕获真伪笔迹间的细微差异,采用孪生网络的对比损失与AM-Softmax损失加权融合进行训练,增加类别间的区分度,解决个人笔迹风格变化和真伪笔迹高度相似的问题;最后自制了总体样本数为8000的中文笔迹数据集(CHD)。所提方法在自制中文数据集CHD上的准确率达到了84.25%,且相较于次优的Two-stage SiamNet方法,所提方法在3个外文数据集Cedar、Bengla和Hindi上准确率分别提升了4.53%、1.02%和1.67%。实验结果表明,MMDANet可以更准确地捕获真伪笔迹的细微差异,完成复杂的笔迹鉴别任务。

基于多尺度边缘分割与混合注意力机制的脊柱CT图像分割

脊柱疾病的前期主要通过计算机断层扫描技术进行筛查与初步判断。为解决脊柱CT图像目前存在的椎骨结构复杂、分割精度不足等问题,提出一种基于3D U-Net框架的脊柱CT图像改进分割网络,通过融合SE残差单元、椎骨边缘分割模型与改进混合通道-空间注意力机制,在VerSe 19、VerSe 20与CTSpine1K脊柱数据集上进行分割训练与测试。多次测试实验结果表明,本文模型在保证分割精度和分割效率有效提高的同时具有较好的泛化性与鲁棒性,在Dice相似系数、豪斯多夫距离与平均表面距离上相较于其他先进网络分割精度更高。本文模型在现有脊柱分割的网络中具有更强的分割性能,可为放射科医生提供有效临床信息。

融合注意力机制的CNN-GRU-LSTM电力系统短期负荷混合预测模型

在电力系统运行过程中,准确预测短期电力负荷是确保电力系统安全经济运行的重要条件。传统单一负荷模型无法完全捕捉复杂系统的变化和非线性关系,预测精度较低。为此,提出一种融合注意力机制的卷积神经网络、门控循环单元和长短期记忆网络的CNN-GRU-LSTM-attention混合预测模型。利用CNN对多维数据特征进行提取,引入注意机制增强GRU和LSTM在序列数据处理中对长期依赖关系的建模能力,进一步提高模型预测精度。结合实际算例进行对比分析实验,结果表明:CNN-GRU-LSTM-attention混合预测模型较LSTM、CNN-LSTM和CNN-GRU-LSTM等模型的预测精度均有较大提升,验证了其有效性和优越性。

基于深度双线性转换注意力机制网络的林业有害生物识别方法

【目的】针对林业有害生物种类多,不少物种之间相似度高,视觉差异小,不易区分,导致林业防控人员无法快速准确识别有害生物种类的问题,本文提出基于深度双线性转换注意力机制网络(DBTANet)的林业有害生物细粒度图像识别方法。【方法】以自然状态下拍摄的60种林业害虫和14种林业有害植物图像作为研究对象,利用水平镜像、亮度调节、高斯模糊和高斯噪声等方法对图像数据集进行增强,按6∶2∶2比例划分为训练集、验证集和测试集;采用双线性插值法将每幅图像缩放至统一尺寸;改进ResNet网络中残差模块,加入深度双线性转换模块和注意力机制模块,建立DBTANet-101网络进行特征提取与分类;利用平均准确率、平均召回率和平均F1值3个指标评价不同模型对林业有害生物的识别结果。【结果】VGGNet-19、ResNet-50、ResNet-101、改进残差模块的ResNet-50和ResNet-101共5个模型对74种林业有害生物平均准确率分别为78.6%、74.9%、76.3%、79.7%和81.1%;在改进残差模块的ResNet-101基础上,增加深度双线性转换模块和注意力机制模块后,74种林业有害生物的平均准确率和召回率分别提高了10.2%和12.1%,22种相似的有害生物细粒度图像平均准确率提高了15.7%。【结论】基于深度双线性转换注意力机制网络(DBTANet)的林业有害生物细粒度图像识别方法,对74种林业有害生物和22种相似有害生物细粒度图像的平均准确率分别为91.3%和85.1%;双线性转换模块和注意力机制可以有效提高林业有害生物识别模型的准确率。

一种融合多尺度混合注意力的建筑物变化检测模型

针对高分辨率遥感图像非真实变化所引起的错误检测问题,提出一种新颖的轻量化孪生神经网络建筑物变化检测模型。其中轻量化的特征提取模块可以获取不同尺度的局部上下文信息,使其充分学习局部和全局特征。由通道和空间注意力组成的混合注意力模块可以充分利用周围丰富的时空语义信息,以实现变化建筑物的准确提取。针对变化建筑物尺度跨度较大,容易导致建筑物边缘细节提取粗糙、小尺度建筑物漏检等问题,引入多尺度概念,将提取到的特征图划分为多个子区域,并分别引入混合注意力模块,最终将不同尺度的输出特征进行加权融合,以加强边缘细节提取能力。模型在WHU-CD、LEVIR-CD公开数据集进行实验,并分别取得87.8%和88.1%的F 1值,相较于6种对比模型具有更高的变化检测精度。

基于多尺度注意力机制的实例分割卷积神经网络

在Mask R-CNN实例分割模型的基础上提出一种新的深度学习方法MixedMask。该方法提出并应用两种有效的策略:(1)使用混合尺度的卷积核,提高网络对分辨率较低实例的提取能力;(2)在压缩激励网络的基础上进行改进,解决原网络中降低维度导致的通道信息丢失问题。在气球数据集和xBD数据集上进行测试,该算法分别达到了83.46%和58.92%的AP(IoU=50),相比Mask R-CNN模型,分别提升了1.3%和5.9%。

基于混合空洞卷积和注意力多尺度网络的残饵密度估计

及时、准确地估算饵料盘中残留饲料量是提高养殖效益的重要措施。针对虾类养殖场景下残饵检测模型复杂度高、计数精度低的问题,提出了一种基于混合空洞卷积和注意力多尺度网络(hybrid dilated convolution and attention multi-scale network,HAMNet)的残饵密度估计方法。首先,借鉴MCNN(multi-column convolutional neural network)多列架构的思想设计并行卷积块(parallel convolution block,PCB),使网络在单列架构中提取多种尺度的残饵特征,简化了网络结构并减轻了计算量;同时为了弥补网络结构简化造成残饵特征表示能力略有不足的问题,引入混合空洞卷积块(hybrid dilated convolution block,HDCB)避免信息丢失并增大感受野,增强模型深入挖掘多尺度残饵信息的能力。其次,在网络中嵌入通道注意力机制(channel attention mechanism,CAM),利用通道之间的相互依赖性重新校准有用特征信息的权重,凸显目标与背景的差异性。最后,针对下采样导致密度图质量差的问题,应用可学习的转置卷积恢复特征图细节信息,进而提升模型计数性能。利用饵料盘条件下采集的残饵图像进行了验证,试验结果表明,与基准模型MCNN相比,HAMNet模型的平均绝对误差、均方根误差和计算量分别降低了44.4%、40.8%和13.7%,参数量仅为0.52 MB。与经典密度估计模型CMTL(cascaded multi-task learning)、SANet(scale aggregation network)、CSRNet(congested scene recognition network)相比,该模型在各项性能指标上保持了最佳平衡,明显处于优势。该研究可为人工智能在水产养殖中快速量化残饵提供参考。

基于注意力机制与双线性池化的锈蚀等级评估

水工机械装备(如闸门、拦污栅等)长期服役于水域环境,其结构表面会不可避免地产生锈蚀。对于重要的关键受力结构件,如果不能准确检测其锈蚀的严重程度,会导致其维修加固不及时,进而直接威胁受损结构周围人员的生命安全。目前,对水工机械装备锈蚀特征识别主要以人工目视检测为主,容易导致视觉疲劳、主观性较强、锈蚀程度的检测准确率不高等问题。为此,本文提出以VGG-16(visual geometry group,VGG)网络为基础、融合注意力机制和双线性池化的锈蚀等级评估方法。首先,利用RGB(red green and blue)和HSV(hue saturation and value)两种色彩空间中不同分量包含锈蚀图像特征不同的特点,将不同色彩空间作为不同支路网络的输入,使其能够充分利用不同色彩空间的图像特征;其次,在两个支路网络中嵌入注意力机制,通过注意力机制的可训练权重对锈蚀图像的特征进行重标定,调整权重,聚焦于最相关的特征进行学习;再次,采用双线性池化融合不同支路提取的特征,使网络聚焦于最相关的细粒度图像特征,提高网络模型对锈蚀图像细微差异特征的利用;最后,通过盐雾锈蚀实验获取锈蚀图像数据,并在数据集上对本文方法进行消融和对比分析。结果表明,相较于原模型及其他主流算法,改进后模型的分类准确率达到了0.953,精确率、召回率、F1系数等评价指标均有大幅提升,本文方法对于不规则锈蚀图像特征能够取得更好的评估效果,可以转化应用于工程实践。

基于卷积神经网络和混合注意力机制的书标检测算法

为实现图书馆中机器人智能排架,提出一种基于卷积神经网络和混合注意力机制的书标检测模型。将DenseNet121引入YOLOv4以提高特征和梯度之间的传递效率,利用SPDC模块实现局部和全局特征融合,进而通过通道和空间混合注意力提高模型的特征表征能力。实验结果表明,模型的平均准确率、整体性能、参数量和模型大小均优于对比方法,且易于部署到嵌入式设备中实现在线检测,从而提高图书乱架治理的智能化水平。

基于双线性池化的实蝇分类注意力网络

实蝇是国内外备受关注的检疫害虫,种类繁多。不同种类的实蝇外形大小相似,不易鉴别。此外,在实际应用中,鉴别实蝇的可用信息会受遮挡、视角、光影变幻等因素影响,导致实蝇自动识别工作难以进行。提出基于双线性池化的实蝇分类注意力网络,用于学习有效的实蝇鉴别特征。该网络由显著性特征模块和跨层双线性模块两个部分组成:显著性特征模块通过对不同卷积层进行滤波增强处理,实现特征增强;跨层双线性模块基于双线性池化融合特征,确定注意部位,挖掘判别特征。在具有自然环境背景的实蝇数据集上进行的实验表明,该方法效果较好,具有良好的实际应用前景。

一种基于自注意力机制的人脸图像补全算法

针对目前深度学习的方法在大面积信息缺失的人脸图像进行补全应用中,补全结果出现纹理细节模糊、结构变形扭曲等问题,提出一种基于自注意力机制的图像补全算法。该算法将待补全的图像输入基于跳跃连接的粗生成网络,得到初步修复;将初步结果输入自注意力感知分支和混合空洞卷积分支共同编码,再通过解码得到生成结果;由双判别器完成判别优化工作。通过人脸图像CelebA-HQ数据集进行实验与测试,所提方法的补全结果在客观和主观评价方面,优于deepfill和PLC两种算法。

基于混合神经网络和注意力机制的卒中后抑郁早期筛查分类方法研究

脑卒中后抑郁症(PSD)是卒中后常见的并发症之一,严重威胁着脑卒中患者的健康。目前PSD的诊断主要依据病人的临床表现及各种量表,这类方法存在一定的主观性。脑电图(EEG)结合深度学习技术有可能为PSD诊断提供客观标准。本研究采集28名脑卒中后无抑郁受试者(PSND)和38名脑卒中后轻度抑郁患者(PSMD)的EEG信号,提出了一种基于注意力机制的长短时记忆网络(LSTM)和卷积神经网络(EEGNet)特征融合的端到端的PSD诊断框架。采用LSTM模型来学习EEG信号在时序上的依赖关系,引入的注意力机制对LSTM模型中时域信息进行权重分配来提高有用信息的利用率,最终通过EEGNet模块来提取EEG信号中更具表征的深层特征。通过10折交叉验证得出准确度、精确度、召回率、F1-Score和Kappa系数,分别为95.90%、95.75%、96%、95.82%和91.60%。与基础的深度学习模型相比,本文的方法能保持稳定的模型性能,对PSD的诊断具有较高的准确性,为PSD的筛查和诊断提供了一定的参考。

联合注意力与混合卷积的高光谱地物识别研究

针对高光谱地物识别模型在提取空谱联合特征时,缺乏对空间特征有效关注的问题,提出了一种基于注意力机制和混合卷积神经网络的高光谱地物识别方法.该方法用三维CNN(3DCNN)以及二维CNN(2DCNN)对高光谱图像的空谱联合特征进行提取,并在二维卷积阶段引入了注意力机制,构建AFCNet地物识别模型,使得其在提取空谱联合特征的同时,实现对空间特征的有效关注和激活.所提模型使用带批归一化层(batch normalization,BN)的3D卷积核和2D卷积核,加快了模型的收敛速度,防止了过拟合现象的发生.相对于传统的卷积网络模型,所提模型提高了噪声抑制能力,得到了较好的地物识别效果,在Salinas和Pavia University&Center数据集上,取得了99.96%和99.87%的地物识别精度,验证了所提方法的有效性.

综合多尺度信息和注意力机制的水下图像增强

针对水下图像由于水的散射和吸收而存在颜色失真和细节丢失等问题,提出了一种综合多尺度信息和注意力机制的生成对抗网络模型来增强水下图像。首先,为了充分利用和增强图像的局部信息和全局信息,使用局部编码器和全局编码器分别提取图像的局部特征和全局特征,并互相融合以实现互补性。接着,设计多尺度混合卷积来捕捉多尺度信息,增加网络对不同尺度特征的适应性。然后,利用注意力机制增加特征提取的准确性,加强网络对高价值特征的关注度。最后,重复使用多尺度混合卷积和注意力机制进一步细化特征后,逐步上采样得到增强图像。与六种经典和最新的方法相比,提出的模型不仅在主观评价中取得了最好的视觉感受,而且在整个测试集上,峰值信噪比(PSNR)、结构相似指数(SSIM)、水下图像质量指标(UIQM)和自然图像质量(NIQE)四种客观评价指标分别取得了22.499,0.789,2.911和4.175的平均分数,均优于六种对比方法,较对比方法中的最优值分别提升0.353,0.002,0.025和0.307,证明提出的模型不仅能够矫正图像颜色失真,而且在恢复图像细节、增加图像对比度和清晰度等方面均有较好的表现,具有良好的应用前景。

混合扩张卷积和注意力机制的路面裂缝检测

针对复杂背景下路面裂缝检测困难的问题,提出一种基于混合扩张卷积和空间-通道注意力机制的路面裂缝检测算法。基于改进的U-Net网络,在编码阶段,使用空间-通道注意力机制增强裂缝特征,抑制非裂缝特征;在网络中间部分,使用混合扩张卷积实现在不增加额外模块的前提下增大网络的感受野;在解码阶段,融合多层次和多尺度特征使最终预测结果更接近路面真实情况。实验结果表明,所提算法能够快速准确地对路面裂缝进行检测,具有较强的鲁棒性。