基于增强注意力门控U-Net的建筑物提取研究

针对经典深度学习语义分割网络对建筑物提取存在精度较低、边界模糊和小目标识别困难的问题,本文提出一种增强注意力门控的U型网络(advanced attention gate U-Net,AA_UNet)用于改善建筑物提取的效果,该网络改进经典U-Net的结构,使用VGG16作为主干特征提取网络、注意力门控模块参与跳跃连接、双线性插值法代替反卷积进行上采样.实验采用武汉大学建筑物数据集(WHU building dataset,WHD)对比提出的网络与部分经典语义分割网络的提取效果,并探究网络改进的各个模块对提取效果的影响.结果显示:该网络对建筑物提取的总精度、交并比、查准率、召回率和F1分数分别为98.78%、89.71%、93.30%、95.89%、94.58%,各项评价指标均优于经典语义分割网络,且改进的各个模块有效提高了提取精度,改善了建筑物轮廓不清晰和小目标建筑物破碎的问题,可用于精准提取高分辨率遥感影像中的建筑物信息,对城市规划、土地利用、生产生活、军事侦察等具有指导意义.

空间分组增强注意力的轻量级人脸表情识别

由于人脸表情特有的复杂性与微妙性,对表情进行高精度识别是一个困难问题。针对轻量级网络在自然环境下对面部表情的特征提取不够充分、泛化能力不足等问题,提出了一种基于空间分组增强注意力的轻量级人脸表情识别方法。在浅层网络设计了并行的深度卷积残差结构,以增强模型对面部表情局部细节的表征能力,并与全局整体特征相融合。在深层网络建立了空间分组增强注意力机制,以提高表情特征分布的稳定性,并强化模型对表情细微变化的判别能力。为了避免模型过拟合,在不大量增加计算复杂度的前提下,对主干网络输出结构进行改进。该方法在公开的七分类数据集RAF-DB、AffectNet-7以及八分类数据集AffectNet-8上的表情识别准确率分别达到了88.33%、63.09%和60.12%,实验结果表明,所提方法在降低网络参数的同时,提高了表情识别准确率,证明了该方法的有效性,具有一定的应用前景。

基于非对称增强注意力与特征交叉融合的行人重识别方法

针对现有的行人重识别方法提取到的特征信息充分性与辨识性不足导致检索精度低的问题,提出一种基于非对称增强注意力与特征交叉融合的行人重识别方法。首先,构建非对称增强注意力模块,通过多重池化聚合的跨邻域通道交互注意力增强显著特征表示,使网络聚焦于图像中的行人区域;其次,考虑到网络各层特征间的差异性与关联性,构建特征交叉融合模块,利用交叉融合方式实现同层不同级特征的跨层级融合,进而实现多尺度融合;最后,水平切分输出特征以获取局部特征,从而实现在特定区域上描述行人。在Market1501、DukeMTMC-reID与CUHK03这3个公开数据集上对提出的方法进行了验证,首位命中率(Rank-1)分别达到了93.5%、85.1%和64.3%,证明了该方法在提升行人重识别性能上具有优越性。

基于增强多头注意力机制的Optuna-BiGRU测井岩性识别

测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种通过Optuna超参数优化双向门循环单元(Optuna-BiGRU)结合增强多头注意力机制(EMHA)的测井岩性识别模型——Optuna-BiGRU-EMHA模型。该模型引入残差机制和层归一化以改进多头注意力机制模块,并结合双向门循环单元(BiGRU)解决了处理测井数据时的问题,同时使用Optuna超参数优化框架和小波包自适应阈值方法分别解决了超参数调优和噪声干扰问题。首先通过交会图分析和敏感性箱线图分析选取自然伽马、深感应电阻率、中子-密度孔隙度、平均中子-密度孔隙度和岩性密度5个特征参数的测井数据,通过小波包自适应阈值方法对数据进行去噪,并将测井数据分割成数据块,然后利用Optuna框架优化BiGRU-EMHA模型超参数,最后通过实验对比K-近邻算法(KNN)、随机森林(RF)、极端梯度提升算法(XGBoost)、长短期记忆(LSTM)神经网络、BiGRU、双向长短期记忆(BiLSTM)神经网络、BiGRU-MHA、Optuna-BiGRU-EMHA等8种模型在测井岩性识别中的精度。结果表明:Optuna-BiGRU-EMHA模型识别准确率达到80%,相对于传统机器学习模型和深度学习模型,综合岩性识别准确率分别提高15.94%~23.14%和3.93%~15.94%,该模型为常规测井岩性识别提供了坚实的理论支持。

全局通道注意力增强的毫米波图像目标检测

针对主动毫米波图像中目标与背景纹理区分度较低导致隐匿目标漏检问题,并根据安检实时性要求,提出一种基于全局通道注意力增强的主动毫米波图像目标检测方法。该方法以YOLOv5s为载体,在坐标注意力位置方向上引入全局通道注意模块,增强对隐匿目标全局通道信息的关注,从而提升在隐匿目标与背景纹理区分度较低时的检测能力;再利用K-means++聚类算法重新生成适合毫米波图像目标检测的锚框。实验结果表明,无论是阵列图像数据集还是线扫图像数据集,该方法增强了对隐匿目标的特征注意,提高了召回率,在满足安检实时性的前提下,提升了检测性能。通过增加少量参数,在阵列图像数据集上,精度、召回率和mAP@.5达到了92.0%、90.93%和95.32%;在线扫图像数据集上,精度、召回率和mAP@.5达到了94.65%、92.67%和97.73%。平均单张图像推理时间在两个数据集上均达到1 ms,满足实时性要求。

基于MacBERT和联合注意力增强网络的物业服务投诉分类方法

基于人工的物业投诉文件分类处理方法已经无法满足社会需求,并且已有投诉相关的自动分类方法在物业投诉分类问题上的性能较不足。因此,本研究提出一个基于MacBERT和联合注意力增强网络的物业服务投诉分类方法JAE BERT4Com。JAE BERT4Com使用基于近义词替换与合成少数过采样技术结合的样本增强策略解决类不平衡的问题,以及基于MacBERT的分层注意力、Transformers的多头注意力和关键词注意力等多重注意力联合增强的网络进行文本特征学习和分类。实验结果表明,JAE BERT4Com能够获得比现有模型更高的准确率、F1分数和召回率,比现有较先进模型的性能更优。

基于自增强注意力机制的室内单图像分段平面三维重建

基于卷积神经网络(CNN)的分段平面三维重建已然成为室内场景建模研究的焦点之一。针对室内场景中,平面和非平面元素常常交织在一起,导致网络提取的平面特征中掺杂了非平面信息,从而影响了最终分割的精度;且室内场景中的平面存在尺度差异巨大的情况,带来了明显的类别不平衡,小尺度平面实例往往会失真的问题。提出了一种自增强注意力的多尺度特征融合三维分段平面重建网络,该网络能够自动学习场景中的平面特征,并有效地将不同尺度的特征信息融合,从而提升了平面实例分割的精度。同时,通过为平面实例中的每个像素分配不同的权重,特别是增加了对小尺度平面边缘像素的权重值,进一步增强了小尺度平面分割对象的通道表达。最终,采用平衡交叉熵损失和骰子损失构建了一种新的损失函数来训练模型,进一步提升了平面分割的精度。实验证明,该算法在平面召回率和分割准确度方面均取得了显著地提升,能够产生更为准确的室内三维分段平面重建模型。

红外弱光下多特征融合与注意力增强铁路异物检测

针对红外弱光环境下铁路异物检测时存在目标特征提取不充分、检测精度及实时性低的问题,在CenterNet目标检测模型的基础上,提出了一种红外弱光下多特征融合与注意力增强的无锚框异物检测深度学习模型。在红外目标多尺度特征提取的基础上,引入自适应特征融合(ASFF)模块,充分利用目标高层语义与底层细粒度特征信息,提升红外目标特征提取能力。通过提出的空洞卷积增强注意力模块(Dilated-CBAM)进行关键特征提取,扩大注意力模块感受野范围,克服了原始CenterNet卷积块感受野映射区域变窄、无法检测弱小目标的问题,提升了无锚框网络的检测精度。使用Smooth L1损失函数进行训练,克服了L1损失函数在网络训练过程收敛速度慢及训练不稳定解的问题。通过铁路红外数据集及现场实验测试,结果表明:所提方法较原始CenterNet模型平均检测精度提高了8.03%,检测框置信度提升了31.23%,平均检测速率是Faster R-CNN模型的9.6倍,所提方法在红外弱光环境下能够更加快速准确地检测出铁路异物,主客观评价均优于对比方法。

基于CycleGAN和注意力增强迁移学习的小样本鱼类识别

围绕水产养殖水下目标精准识别的产业发展需求,针对小样本目标识别精度低、模型算法场景适应能力差等问题,提出一种基于改进循环对抗网络(Cycle constraint adversarial network,CycleGAN)样本扩增和注意力增强迁移学习的小样本养殖鱼类识别方法。利用水下采样装备收集实际养殖场景和可控养殖场景大黄鱼图像,并以可控场景图像作为辅助样本集。利用CycleGAN为基础框架实现辅助样本到实际养殖场景图像的迁移,并提出一种基于最大平均差异(Maximum mean discrepancy,MMD)的迁移模型损失函数优化方法。在迁移学习阶段使用ResNet50为基础框架,并引入SK-Net(Selective kernel network)注意力机制优化模型对不同感受野目标的感知能力,提升模型对无约束鱼类目标的识别精度。试验结果表明,本文方法有效提升了小样本鱼类目标的识别能力,鱼类识别召回率达到94.33%,平均精度均值达到96.67%,为鱼类行为跟踪和表型测量提供了有效的技术支撑。

增强型注意力网络点击通过率预估方法

针对以往模型在对点击通过率(click-through rate,CTR)进行建模预测时,存在着特征重要性学习不足、特征交互低效等问题,提出了一种增强型注意力网络预估模型,用于动态学习特征重要性和特征交互信息,模型主要由注意力层、双线性交互层和全连接神经网络层构成。注意力层的多尺度多头自注意力机制通过设置不同尺寸子空间增强特征重要性学习能力,在得到特征重要性后,进一步采用张量积双线性交互学习特征交互信息。通过对注意力的子空间尺寸大小、张量积交互形式、神经网络层数和节点个数等进行定量分析,确定模型的最佳参数。实验证明,该模型相比已有模型拥有更好的预测能力。

基于增强图注意力网络的高光谱影像分类方法

高光谱遥感影像中隐含了不同地物的光谱特征,高光谱地物分类成为了遥感领域的一个研究热点。高光谱数据存在维度灾难以及训练样本标签过少等问题,进而影响了其分类精度。针对此问题,文章提出一种空-谱特征融合的增强图注意力网络高光谱影像分类方法,即从高光谱数据中获得初始的空-谱特征作为图的节点属性,并以节点的相邻关系构建图结构;将空-谱特征初步融合的高光谱图数据作为输入,并通过增强图注意力来提取节点的空-谱特征;以深度融合的空-谱特征来实现精准的高光谱地物分类。经在龙口和汉川数据集上的实验测试结果表明:这一方法能够有效提取深度融合的空-谱特征,总体分类精度分别达到99.62%和95.45%,实现了高光谱地物的精准分类。

融合预训练和注意力增强的中文自动摘要研究

通过对源文本信息压缩来提炼文本核心内容。目前,大多数生成式自动摘要任务采用基于注意力机制的序列到序列模型,但该模型解码预测生成的摘要具有语义准确率低且内容重复率高的问题。针对上述问题,提出了一种融合预训练和注意力增强的自动摘要生成方法来提高生成摘要的质量。该模型以带覆盖机制的指针生成网络(pointer generator network,PGN)模型为基础,利用Transformer模型的编码器预训练文本获得具有语义联系的词向量;在序列到序列模型的解码器中,通过注意力增强机制让解码端的当前时刻注意力分布参考历史时刻注意力分布信息;优化束搜索算法抑制解码端输出短句。实验评价指标采用ROUGE值。在公共中文数据集NLPCC2018和LCSTS上的实验结果表明,与伴随覆盖机制的PGN模型训练结果相比,ROUGE-1、ROUGE-2和ROUGE-L指标均得到了提高,验证了所提方法的先进性和有效性。

基于汇聚CNN和注意力增强网络的遮挡人脸检测方法

针对现实场景中遮挡人脸检测精度低的问题,提出了一种基于汇聚CNN和注意力增强网络的遮挡人脸检测方法。首先,在主网络的多层原始特征图上,通过有监督学习的方法增强原始特征图中人脸可见部分的响应值。然后,将多个增强特征图组合成附加增强网络与主网络汇聚设置,以加快对多尺度遮挡人脸的检测速度。最后,将有监督信息分散到各个尺寸的特征图上进行监督学习,为不同尺寸的特征图设置了基于锚框尺寸的损失函数。在WIDER FACE和MAFA数据集上的实验结果表明,该方法的检测精度高于当前主流人脸检测方法。

运用现代教育技术 增强智障儿童注意力

智障儿童有其与众多儿童相别的个性特点、心理特点和认知特点,学习过程中注意力不集中,也不稳定,对此运用现代教育技术辅助学习,以增强其视觉形象,吸引注意力;运用合成技术增强注意力,加强信息反馈,保持注意力,促使他们主动参与学习过程,促进智障儿童综合素质有效提高,为他们成为有用之才奠定良好的基础。

浅谈增强注意力的要点与方法

要想搞好课堂学习。首先要知道如何增强注意力。本文着重阐述在课堂教学中增强注意力的5个要点、4步方法与3点建议。

基于三维图卷积与注意力增强的行为识别模型

针对当前行为识别方法无法有效提取非欧式3维骨架序列的时空信息与缺乏针对特定关节关注的问题,该文提出了一种基于3维图卷积与注意力增强的行为识别模型。首先,介绍了3维卷积与图卷积的具体工作原理;其次,基于图卷积中可处理变长邻居节点的图卷积核,引入3维卷积的3维采样空间将2维图卷积核改进为具有3维采样空间的3维图卷积核,提出一种3维图卷积方法。针对3维采样空间内的邻居节点,通过3维图卷积核,实现了对骨架序列中时空信息的有效提取;然后,为增强对于特定关节的关注,聚焦重要的动作信息,设计了一种注意力增强结构;再者,结合3维图卷积方法与注意力增强结构,构建了基于3维图卷积与注意力增强的行为识别模型;最后,基于NTU-RGBD和MSR Action 3D骨架动作数据集开展了骨架行为识别的研究。研究结果进一步验证了基于3维图卷积与注意力增强的行为识别模型针对时空信息的有效提取能力及识别准确率。

基于特征融合的注意力增强卷积神经网络的航空发动机滚动轴承故障诊断方法

针对现有基于深度卷积神经网络的故障诊断方法只考虑对信息局部特征的提取、忽视全局信息的不足,将可以把握全局信息的注意力机制融入卷积层,使得注意力机制参数和卷积层参数参与网络的训练,提出一种注意力增强卷积神经网络的机械故障诊断方法。通过经验模态分解、变分模态分解和小波包分解的方法提取滚动轴承振动信号的高维特征模量;将特征模量组成多通道样本输入到注意力增强卷积神经网络中进行训练,利用网络对特征模量自适应地融合和选择,从而挖掘特征模量的隐式特征;使用Softmax分类器进行分类识别;通过训练好的网络对高转速下的滚动轴承进行故障诊断;利用不同信噪比的信号对所提方法进行测试,以验证网络的泛化能力和故障诊断效果。实验结果表明:该方法能准确、有效地对航空发动机滚动轴承不同故障的损伤程度进行分类识别。

基于注意力增强全卷积神经网络的高分卫星影像建筑物提取

从卫星遥感影像中自动提取建筑物在国民经济社会发展中具有广泛的应用价值,由于卫星遥感影像存在地物遮挡、光照、背景环境等因素的影响,传统方法难以实现高精度建筑物提取。采用一种基于注意力增强的特征金字塔神经网络方法(FPN-SENet),利用多源高分辨率卫星影像和矢量成果数据快速构建大规模的像素级建筑物数据集(SCRS数据集),实现多源卫星影像的建筑物自动提取,并与常用的全卷积神经网络进行对比。研究结果表明:SCRS数据集的提取精度接近国际领先的卫星影像开源数据集,且假彩色数据精度高于真彩色数据;FPN-SENet的建筑物提取精度优于其他常用的全卷积神经网络;采用交叉熵和dice系数之和为损失函数能够提升建筑物提取精度,最好的分类模型在测试数据上的分类总体精度为95.2%,Kappa系数为79.0%,F1分值和IoU分别达到了81.7%和69.1%。该研究可为高分辨率卫星影像建筑物自动提取提供参考。

基于注意力增强的点阵Transformer的中文命名实体识别方法

对于中文命名实体识别任务,一种非常有效的方法是创建能结合字与词语信息的点阵,利用词语语义信息的同时减少分词错误带来的影响.然而点阵在通过词典匹配句子中潜在词语的过程中,也会引入相关性低的信息以及噪声,导致基于注意力机制的Transformer出现注意力分散的情况,而且引入词语信息也会降低模型对句子语义的关注.为解决这些问题,提出了一种新的注意力增强模型,命名为注意力增强的点阵Transformer(attention-enhanced lattice Transformer,AELT).AELT对注意力进行了稀疏处理,使模型只关注相关性最高的内容,能够有效减少上下文中的噪声干扰,同时并行添加了专用于对语句进行语义分析的Transformer,使模型重点关注语句本身,并将词语信息作为辅助信息完成实体识别任务.实验结果表明:AELT在Weibo、Resume、Ontonotes和MSRA这些主流数据集上有着不错的性能表现.

基于多分支注意力增强的细粒度图像分类

针对细粒度图像类间差距小、类内差距大的问题,文中提出以弱监督学习的方式使用多分支注意力增强卷积网络,从而实现细粒度图像分类。文中采用Inception-V3网络提取图像的基础特征,从中获取多个局部响应区域并进行特征融合,在此基础上采用注意力机制对图像关键区域进行自约束的局部裁剪和局部擦除,避免仅提取目标单个部位的特征,促使网络更加关注目标物体不同部位的细节特征,同时也提升了目标区域的定位精度。此外,文中提出中心正则化损失函数来约束训练过程中获取的注意力区域,以进一步提升目标定位精度和扩大图像特征的类间差距。在3个公开数据集上进行了实验,结果表明,所提方法取得了比当前最优方法更好的结果。