基于Attention注意力机制下的鱼群韧性研究

生物集群运动可以自组织实现群体涌现行为,但是在外界因素的影响之下,生物集群是否能够保持韧性,单体是否能够根据当前信息重新交互仍然面临巨大的挑战。在攻击体的干扰之下,本文根据红鼻剪刀鱼的运动数据,设计Attention注意力模型。模型考虑到单体鱼与攻击体和周围邻居鱼之间的信息交互,预测下一时刻单体出现的具体位置,说明Attention注意力模型能够使生物的集群韧性与自组织运动保持一致。实验结果表明,所提的Attention注意力模型能够较好的解释生物集群韧性,增强生物集群韧性的鲁棒性和灵活性,为复杂系统解释内外部之间的联系提供了有力的支撑,该方法对生物控制领域的分布式管理也有很好的借鉴作用。

引入卷积块注意力模块的Attention U-Net木材表面裂纹检测方法

木材缺陷会影响木材的使用价值和使用期限,其中木材表面裂纹是严重影响木材外观质量和机械强度的一种木材缺陷。对木材表面裂纹的检测可以尽快发现此类缺陷木材,或为后续处理提供依据。针对现有的人工检测和自动化检测木材表面裂纹效率低、成本高、漏检率高等问题,采用引入卷积块注意力模块(convolutional block attention module,CBAM)的Attention U-Net深度学习模型对木材表面裂纹图像进行语义分割,从而达到木材表面裂纹检测的目的。引入的CBAM模块包含通道注意力机制和空间注意力机制,分别用于捕捉通道间的依赖关系和像素级的空间关系,该模块被添加到Attention U-Net网络的编码阶段,以增加感兴趣区域的权重并抑制冗余信息。最后,通过消融试验验证了Attention U-Net中加入CBAM对分割性能的提升。采用像素准确率(PA)、类别像素准确率(CPA)、召回率(Recall)、Dice系数、交并比(IoU)和平均交并比(MIoU)等语义分割评价指标评价各模型的优劣,并确定最佳模型及其参数。在自制木材表面数据集的裂纹分割中,使用AdamW优化器引入CBAM的Attention U-Net的PA、木材裂纹Recall、木材裂纹Dice系数、木材裂纹IoU、MIoU分别比使用SGD优化器的Attention U-Net原始模型提高了0.11%,4.14%,2.96%,3.58%和1.84%。结果表明,使用AdamW优化器引入CBAM的Attention U-Net能够较好地分割背景和木材表面裂纹,区分节点、表面纹理和木材裂纹,并将节点和表面纹理分割为背景。

改进注意力机制嵌入PR-Net模型的水稻病害识别仿真

针对现有的CNN模型在水稻叶部病害的识别中准确率较低的问题,提出了一种结合并行结构和残差结构的混合卷积神经网络模型PRC-Net(parallel residual with coordinate attention network)。引入并行结构,提高卷积的感受野;结合残差结构,使特征信息完整的连续传递;在骨干模型PR-Net中嵌入改进的空间注意力机制,增强对不同尺度病斑特征信息的凝聚程度;为进一步提升病害识别的准确率,并减少模型的训练时间和推理时间,通过改变加权方式对模型结构进行优化。仿真结果表明:与InceptionResNetV2等分类模型相比,PRC-Net具有更少的训练参数、更短的训练时间和更高的识别精度,性能优于其他作物病害识别模型。

改进卷积注意力机制的轻量级检测无人机目标模型

利用深度学习中特征提取的优势,提出一种改进算法,结合改进的卷积注意力模块,将YOLOv5模型骨干网络替换为改进的MobileNetv2轻量化网络,形成I-YOLOv5算法,旨在提高检测精确度和小目标、多目标的检测能力,同时保持实时性.为构建数据集,通过网络搜索和自主录制无人机视频的方式,用Label Img工具完成标注.结果表明,I-YOLOv5算法在检测精度上有显著提升,对小目标和多目标的检测效果更优秀,在视频检测方面表现出色,具有较好的实时性能.通过模型结构优化,使检测模型的大小减少为原来的18.6%,检测速度提升120%.I-YOLOv5算法的平均精度均值达到97.8%.

基于CLIP和交叉注意力的多模态情感分析模型

针对多模态情感分析中存在的标注数据量少、模态间融合不充分以及信息冗余等问题,提出了一种基于对比语言-图片训练(CLIP)和交叉注意力(CA)的多模态情感分析(MSA)模型CLIP-CA-MSA。首先,该模型使用CLIP预训练的BERT模型、PIFT模型来提取视频特征向量与文本特征;其次,使用交叉注意力机制将图像特征向量和文本特征向量进行交互,以加强不同模态之间的信息传递;最后,利用不确定性损失特征融合后计算输出最终的情感分类结果。实验结果表明:该模型比其他多模态模型准确率提高5百分点至14百分点,F1值提高3百分点至12百分点,验证了该模型的优越性,并使用消融实验验证该模型各模块的有效性。该模型能够有效地利用多模态数据的互补性和相关性,同时利用不确定性损失来提高模型的鲁棒性和泛化能力。

融合外部注意力的扩散模型巡检图像去雾

为降低雾天对输电线路巡检图像造成的影响,针对目前主流去雾算法存在计算成本高、图像去雾后检测性能差和难以部署的问题,提出了一种雾天输电线路巡检图像去雾方法Diff-EaT。该方法采用融合Transformer的扩散模型结构,为降低体征提取模块中多头自注意力在ViT中的计算复杂度,使用多头外部注意力代替多头自注意力以减少计算负荷和增强特征学习。同时,设计了一个混合尺度门控前馈网络,在输入特征的深度可分离卷积之后集成了选通机制以改善局部信息捕获。在合成数据集和真实数据集上进行对比试验,定量指标和定量指标都证明其有效性,复原图像细节更加清晰。在去雾检测系统中,对真实巡检图像去雾后使用YOLOv7进行检测,mAP@0.5、召回率、查准率分别提升6.92%、9.58%、4.11%,本文方法去雾后有效提高检测置信度,去雾检测系统可应用于实际场景。同时在消融实验中,证明了改进的有效性。

平滑注意力与谱上采样细化的非等距三维点云模型对应关系计算

为了解决非等距3维点云模型对应关系计算易受模型大尺度形变影响而导致对应失真、准确率低且平滑性差的问题,该文提出一种结合平滑注意力与谱上采样细化的非等距3维点云模型对应关系计算新方法。首先,利用点所在表面的几何特征信息设计平滑注意力机制与平滑感知模块,提高特征对大尺度形变区域非刚性变换的感知能力;其次,将深度函数映射模块与平滑正则化约束相结合,提升函数映射计算结果的平滑性;最后,在谱上采样细化模块中,以多分辨率重建的方式得到最终的逐点映射结果。实验结果表明,与已有算法相比,本算法在FAUST、SCAPE和SMAL数据集上构建的对应关系测地误差最小,处理大尺度形变模型时,能够提升逐点映射的平滑性和全局准确率。

外部注意力增强语义交互的阅读理解模型

针对传统抽取式阅读理解模型未充分考虑问答样本之间潜在相关性的问题,通过RoBERTa对问题与段落进行编码,利用外部注意力Exatt增强语义交互层特征获取能力,提出外部注意力增强语义交互的阅读理解模型,捕获问题与段落中蕴涵的语义特征和不同问答样本之间的潜在相关性。实验结果表明,在CMRC2018和构建的电力安规问答数据集上,在评价指标EM和F1两方面,该方法较基线模型分别最高提高了0.737%和2.556%。

基于TF-IDF和多头注意力Transformer模型的文本情感分析

文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。

基于视觉自注意力模型的苗期玉米与杂草检测方法

[目的]识别作物和杂草是农业智能化中自动除草的关键步骤。本文旨在解决作物与杂草识别精度低、检测模型实时性和鲁棒性差等问题。[方法]以叶龄处于3~8叶期的玉米及其伴生杂草为研究对象,提出一种高效准确的玉米苗与杂草的检测方法。该方法以实时端到端目标检测视觉自注意力模型为基础框架,用小尺度卷积等效替代大尺度深度卷积的思想,以较小的精度损失降低推理耗时。引入一种包含上下文信息的自顶向下注意力机制,强化模型对小目标的检测效果。应用组合图像增强策略,提升模型精度与泛化能力。[结果]改进后模型的平均检测精度为90.11%,推理阶段单张图片耗时33.67 ms,模型参数量44.86 MB。改进后的模型比主流目标检测模型总体精度更高,且推理速度快。[结论]所提方法对于玉米苗与伴生杂草的整体检测性能优秀,能够提高杂草识别的准确性和效率。

基于可视注意力机制的非锚点行人检测模型

在目前的行人检测方法中,中心尺度预测(center-scale prediction,CSP)模型具有检测速度快,无需预设锚点等优点。但是,CSP模型并没有针对行人遮挡问题提出解决方法。为此,在CSP模型的基础上,提出了一个基于可视注意力机制的中心尺度预测(visible attentionmechanism-basedCSP,VA-CSP)模型,同时预测行人及其可视区域的边界框,并构造一个中心-可视中心(center-visible center,C-V)变换预测分支,将行人及其可视区域匹配,使模型具有正确的可视注意力机制,提升遮挡行人的检测精度。在Citypersons和Caltech行人检测数据集上进行了实验,在Citypersons验证集的不同遮挡程度的子数据集Reasonable、Heavy、Partial和Bare上,得到了9.6%、48.1%、9.1%和6.6%的丢失率,相比CSP分别提升了1.4%、1.2%、1.3%和0.7%。在Caltech测试集的Reasonable子数据集上得到了3.2%的丢失率,相比CSP提升了1.3%。与其他目前最新的模型相比,所提模型具有更高的检测精度。

基于空洞卷积自注意力机制的煤岩显微组分组识别模型

基于深度学习的识别模型是目前解决煤岩显微组分组识别问题的主要手段,但这些模型在计算过程中参数不断堆叠,导致模型的算力需求增加,影响模型的训练效率。针对上述问题,构建了一种基于空洞卷积自注意力(DCSA)机制的改进Swin-Transformer模型——DA-ViT。首先,为了在加强煤岩显微组分组图像的局部特征信息的同时保留其二维空间信息,提出了DCSA机制,通过对煤岩显微图像的大尺寸卷积核进行多尺度分解,加强了煤岩显微图像不同区域像素之间的联系,显著降低了图像注意力的参数量,降低率为81.18%。然后,为了加强煤岩显微组分组图像间的形态特征关联性,将DCSA和改进的Swin-Transformer框架相结合,提出了DA-ViT识别模型。实验验证结果表明,与现有的其他识别模型相比,DA-ViT模型在提高预测结果准确率的同时,可显著降低模型的算力需求,其像素准确率(PA)和平均交并比(mIoU)的最大值分别为92.14%和63.18%,模型参数总量(Params)和浮点运算次数(FLOPs)的最小值分别为4.95×106和8.99×109。

基于注意力的融合模型预测脓毒症患者死亡率

准确识别死亡风险较高的脓毒症(sepsis-3)患者对改善患者生存结局、辅助ICU医生医疗决策具有重要意义.然而传统机器学习方法需要复杂的特征工程,且不能充分利用患者医疗数据中高缺失的动态时序数据与稀疏的静态数据.针对ICU脓毒症患者死亡率预测的现有不足,设计了一种基于注意力机制的多输入融合学习模型,分别从高缺失率的动态时序数据和稀疏的静态数据中捕捉患者医疗记录时空维度上的患者特征并学习时空特征之间的相互作用关系.在MIMIC-Ⅲ数据集上提取了10567名符合sepsis-3定义的ICU脓毒症患者医疗记录,使用8∶2的比例将数据划分为训练集和测试集,并在训练集上使用五折交叉验证,在测试集上评估模型的性能.实验结果表明,相比基准方法,提出的模型具有相对较高的AUROC和AUPRC,有效提高了ICU脓毒症患者死亡率的预测性能.

基于各向异性注意力的双分支血管分割模型

血管分割对于血管疾病的诊断和治疗具有重要意义,但由于血管边界模糊、病变血管的形状多变且不同样本之间的差异性较大,因此要求分割模型能够准确地挖掘血管与背景类间的差异性以及血管内部的连通性。提出一种基于中心线约束与各向异性注意力的新型三维血管分割网络CAU-Net。针对血管分割的难点,对基础网络结构ResU-Net进行改进,构建各向异性注意力模块,该模块根据管腔结构特有的空间各向异性,从3个方向提取血管空间各向异性特征,并对特征通道间的相关性进行建模,学习血管的三维空间信息。采用主-辅双分支模型,b-Net对血管进行语义分割,a-Net学习血管中心线的连续性特征,约束b-Net的血管分割结果,保证血管分割结果的完整性。在公开数据集3D-IRCADb-01上的实验结果表明,对于门静脉及肝静脉的分割,CAU-Net分别取得(74.80±8.05)%和(76.14±6.89)%的Dice系数、(54.80±8.09)%和(50.40±5.22)%的NSD系数、(72.43±8.26)%和(70.84±6.05)%的clDice系数、(46.47±12.89)%和(39.19±7.97)%的分支检测率以及(67.08±15.59)%和(61.47±9.32)%的树长检测率。在公开脑血管数据集IXI上进行组件消融实验,模型在验证集上的平均Dice、NSD、clDice、BD和TD分别为(94.11±0.39)%、(96.53±0.37)%、(95.83±0.59)%、(98.64±1.63)%和(95.44±1.22)%,相比于Baseline分别提升了0.92%、0.82%、0.92%、1.11%和1.60%。CAU-Net血管分割模型能够显著提升血管分割的精度和完整度。

基于过滤注意力机制的生成式自动社交媒体文本摘要模型

[目的/意义]为了帮助用户在浩如烟海的社交媒体文本中快速获取所需信息,本研究创新地设计了一种基于过滤注意力机制的自动摘要生成模型Filter Unit Model(FUM)。[方法/过程]首先,采用微调BERT对于输入的社交媒体文本进行向量嵌入;其次,设计了过滤注意力机制来滤除嵌入社交媒体文本中的无用信息,基于字词层面和语句层面两种过滤注意力机制,旨在从不同角度对于嵌入向量进行过滤;最后,采用Transformer的解码器部分进行解码工作,并根据过滤注意力机制的不同设计相应的解码策略。[结果/结论]本研究在微博数据集上与摘要生成领域中经典、优秀的基线模型进行对比实验。实验结果表明,本研究所设计的FUM模型有着比其他基线方法更出色的表现。同时,基于语句层面的过滤注意力机制比基于字词层面的有更好的过滤效果。

基于注意力头数和词性融合的藏文预训练模型

为了更好地学习藏文语言特征以及探究藏文预训练语言模型的最佳注意力机制头数,将词性与藏文预训练模型相结合,并进行了对比实验确定最佳的注意力头数,旨在提高语言模型对藏文语言特征的理解以及下游任务的性能。实验结果表明,在多个分类任务中,注意力头数为12的预训练模型皆表现了良好的性能。此外,将词性融入预训练模型后,文本、标题和情感分类任务的模型F_(1)值分别提高了0.57%、0.92%和1.01%。实验结果证明融入词性特征后,模型可以更准确地理解藏文语言结构和语法规则,从而提高分类任务的准确率。

基于图注意力网络的时序知识图谱人机交互模型

组织和检索信息是人机交互重点关注的话题之一。基于知识图谱(Knowledge Graph,KG)的智能问答系统通过语义解析用户问题,检索知识并回答问题,已成为一种信息检索的有效途径,是人机交互的典型应用。时序知识图谱(Temporal Knowledge Graph,TKG)问答系统通过语言模型获取问题中的实体和时间戳,并在大型TKG中检索答案。TKG问答系统包含2个挑战:①给定问题,需检索整个TKG,效率低且易受干扰项的影响;②难以捕获问题中隐含的时间词和时间顺序信息。提出一种基于图注意力网络的时间对比学习(Time Contrast Learning,TCL)模型,将源问题与替换时间词后的对比问题同时训练,使用图注意力网络更新实体邻接子图的节点特征,缩小潜在答案的检索空间。在CRONQUESTIONS数据集上进行大量实验,结果表明TCL比其他基准方法具有更好的性能,相较于最先进的基准方法在H it@1和Hits@10指标上平均提升3.44%和2.02%。

基于改进注意力机制CNN-ATT的区域性ZTD预测模型

基于天顶对流层延迟(ZTD)的强时空特征,提出了一种融合卷积神经网络的改进注意力机制(CNN-ATT)的多站点ZTD组合预测模型。该模型首次将多源数据(包括日解算精度、年积日(DOY)和三维坐标)综合运用于ZTD预测任务。通过对南宁市的5个参考站(CORS)和14个国际GNSS服务(IGS)站点共1501个年积日的观测数据进行研究,选取传统BP模型、GPT2w模型和ATT模型作为基线模型进行实验对比分析。研究结果显示,在预测精度方面,改进的CNN-ATT模型与BP模型相比其均方误差(MSE)和平均绝对误差(MAE)分别减少了5.5mm和4.4mm,预测精度分别提高了41.4%和67.8%;与ATT模型相比,CNN-ATT模型的预测MSE和MAE也分别减少了4.6mm和2.1mm,预测精度分别提升了36.2%和50.0%。在定位精度方面,改进的CNN-ATT模型的精度表现优于SAAS,GPT2w,BP以及ATT模型。并且与传统SAAS对流层模型相比,CNN-ATT模型在N,E,U3个方向的精度提升高达18.2%,12.6%和31.0%。此外,研究还发现CNN-ATT模型在长预测时间步长中的精度表现更为稳定,更适合多测站预测任务,并且其精密单点定位(PPP)收敛速度更快。

基于双重注意力变换模型的分布式屋顶光伏变电站级日前功率预测

分布式屋顶光伏地理位置分散,受地理环境遮挡和多种气象因素影响,导致光伏出力特性存在差异,给变电站级分布式屋顶光伏日前功率预测造成挑战。针对上述问题,提出了一种基于双重注意力变换模型的分布式屋顶光伏变电站级日前功率预测方法。首先,基于动态时间规整算法计算分布式光伏用户出力特性间的相似度,并基于凝聚层次聚类法将其划分成若干类;然后,利用自主注意力网络学习各时间步间的时序关联特性,通道卷积注意力机制学习多特征变量间的相关性,构建日前功率预测模型;最后,将每一类日前预测结果相加,实现变电站级日前功率预测。算例结果表明所提方法在多种天气状况下,较Transformer、长短期记忆神经网络和时序卷积网络,预测精度显著提升。

基于双向LSTM-Attention模型的火电厂负荷预测研究

准确预测电厂负荷可指导火电厂制定发电计划和调度安排,有利于降低能源成本和污染物排放,对电厂的经济性和环保性有重要意义。本文提出一种基于双向LSTM-Attention的火电厂负荷预测方法。首先,通过皮尔逊系数筛选出关键特征变量;其次利用双向长短期记忆网络提取关键变量之间的长期依赖关系与短期变化特征,最后融合注意力权重机制以进一步突出关键时序信息,进而实现负荷的准确预测。以某在役600 MW超临界机组为对象进行验证。结果表明:相较于单向LSTM、双向LSTM、单向LSTM-Attention,本文所提方法的决定系数R^(2)、均方根误差S_(RMSE)和平均绝对误差S_(MAE)均为最优,分别为0.9566、16.3159、13.5043,能更准确地捕捉到负荷快速波动的趋势,为电厂的负荷预测和能源管理提供可行的方法。