基于融合注意力机制LSTM网络的地下水位自适应鲁棒预测

地下水水位是旱天污水管网地下水入渗量的重要影响因素,快速精准地预测地下水水位能有效提升旱天污水管网地下水入渗量估算准确度,辅助优化管网病害治理与维护策略。针对目前城市复杂水文预测存在的准确度低、灵敏度低、泛化能力弱等问题,本文提出了一种新的鲁棒自适应水位预测算法。首先,对水文数据进行预处理,解决了数据时间跨度大、噪声多、缺失及异常、非平稳等问题。其次,针对不同输入特征对预测指标的影响,在模型训练阶段提出一种新的空间变量注意机制,可快速识别与水位关联的关键变量,并对输入特征赋予不同的影响权重。然后,针对不同序列长度对预测效果的影响,还设计了自适应时间注意力机制,帮助网络自适应地找出与不同时间序列长度预测指标相关的编码器隐藏状态,以更好地捕捉时间上的依赖关系。在此基础上,以上下文向量作为输入,提出一种融合注意力机制的长短时记忆网络水文预测算法。最后,通过意大利Petrignano水文数据验证了所提算法的有效性,并与GRU、Elman、LSTM、VA–LSTM和S–LSTM等方法进行预测性能比较。结果表明,基于融合注意力机制的LSTM网络在面临大规模、噪点多的复杂数据时有优于其它几种算法的预测效果,表明该算法具有强自适应性和鲁棒性。本文研究结果可以为市政排水策略合理调整、及时控制提供参考。

应用自适应注意力机制U-net的地震数据高分辨处理

随着油气勘探开发的不断深入,薄储层与岩性油气藏逐渐成为重要的勘探目标,这也对地震资料的分辨率提出了更高的要求。文中提出了一种基于自适应注意力机制的U-net地震数据高分辨处理方法。该方法首先利用U-net结构学习地震数据的特征表示,通过下采样过程的编码器提取地震数据的抽象特征,然后通过上采样的解码器进行特征重建和细化。在上采样的过程中引入了注意力机制,用于自适应地调整网络对不同地震特征的关注程度,网络能够更加有效地捕捉到地震数据更多的细节和特征。Marmousi模型合成地震记录和实际数据实验结果表明,新网络比原U-net误差更小、更稳定,可有效提高预测精度,实现对地震数据的高分辨率处理。

基于自适应特征融合和注意力机制的变电设备红外图像识别

针对变电设备红外图像复杂背景下多目标、小目标及遮挡目标识别效果差的问题,该文提出一种基于中心点网络(CenterNet)的变电设备红外图像识别方法。通过将自适应特征融合模块(ASFF)和特征金字塔(FPN)相结合,构建ASFF+FPN结构的特征融合网络,增强了模型对多目标和小目标的跨尺度特征融合能力,排除背景信息;针对网络对遮挡目标特征捕捉能力差的问题,在特征融合网络中添加全局注意力机制,增强目标显著度;为实现模型轻量化,引入深度可分离卷积,减少参数量和推理时间;最后,通过引入分布焦点损失函数,克服了原损失函数对遮挡目标敏感性差的问题,提升了模型收敛速度和识别精度。在包含7种红外变电设备图像的自建数据集上进行测试。实验表明该算法与原始算法相比,识别精度提升了3.55%,达到了95.19%,模型参数量仅为32.52M,与4种主流目标识别算法对比,该算法在识别精度和算法复杂度上具有明显优势。

复杂场景下自适应注意力机制融合实时语义分割

实现高准确度和低计算负担是卷积神经网络(CNN)实时语义分割面临的严峻挑战。针对复杂城市街道场景目标种类众多、光照变化大等特点,该文设计了一种高效的实时语义分割自适应注意力机制融合网络(AAFNet)分别提取图像空间细节和语义信息,再经过特征融合网络(FFN)获得准确语义图像。AAFNet采用扩展的深度可分离卷积(DDW)可增大语义特征提取感受野,提出自适应平均池化(Avp)和自适应最大池化(Amp)构成自适应注意力机制融合模块(AAFM),可细化目标边缘分割效果并降低小目标的漏分率。最后在复杂城市街道场景Cityscapes和CamVid数据集上分别进行了语义分割实验,所设计的AAFNet以32帧/s(Cityscapes)和52帧/s(CamVid)的推理速度获得73.0%和69.8%的平均分割精度(mIoU),且与扩展的空间注意力网络(DSANet)、多尺度上下文融合网络(MSCFNet)以及轻量级双边非对称残差网络(LBARNet)相比,AAFNet平均分割精度最高。

融合多级特征与注意力机制的路面裂缝检测

针对深度学习模型应用在道路裂缝检测时,存在裂缝提取不完整及检测速度慢等问题,提出了一种基于ResNet34骨干网络并结合通道注意力和空间注意力机制对特征图进行多级特征融合学习的算法。提出的算法由特征提取网络、多级特征融合模块构成,能够生成清晰准确的裂缝分割图像。其中,特征提取网络提取三原色(RGB)图像的分层级特征,多级特征融合模块学习ResNet34分层级特征信息,且各层的输出采用分层监督方式引导网络快速训练。为证明网络的有效性,在公开裂缝数据集上进行了测试,测试结果显示提出的算法在F1、平均交并比(MIoU)和帧率(FPS)上均超过了其他经典网络。

基于注意力机制和循环域三元损失的域自适应目标检测

目前大多数深度学习算法都依赖于大量的标注数据并欠缺一定的泛化能力.无监督域自适应算法能提取到已标注数据和未标注数据间隐式共同特征,从而提高算法在未标注数据上的泛化性能.目前域自适应目标检测算法主要为两阶段目标检测器设计.针对单阶段检测器中无法直接进行实例级特征对齐导致一定数量域不变特征的缺失,提出结合通道注意力机制的图像级域分类器加强域不变特征提取.此外,对于域自适应目标检测中存在类别特征的错误对齐引起的精度下降问题,通过原型学习构建类别中心,设计了一种基于原型的循环域三元损失(Cycle domain triplet loss,CDTL)函数,从而实现原型引导的精细类别特征对齐.以单阶段目标检测算法作为检测器,并在多种域自适应目标检测公共数据集上进行实验.实验结果证明该方法能有效提升原检测器在目标域的泛化能力,达到比其他方法更高的检测精度,并且对于单阶段目标检测网络具有一定的通用性.

基于自适应多尺度注意力机制的CNN-GRU矿用电动机健康状态评估

利用多传感器信息融合技术进行电动机健康状态评估时,矿用电动机监测数据中存在异常值和缺失值,而卷积神经网络和循环神经网络等深度学习模型在数据质量下降严重的情况下难以有效提取数据特征和更新网络权重,导致梯度消失或爆炸等问题。针对上述问题,提出了一种基于自适应多尺度注意力机制的CNN-GRU(CNN-GRU-AMSA)模型,用于评估矿用电动机健康状态。首先,对传感器采集的电动机运行数据进行填补、剔除和标准化处理,并以环境温度变化作为依据对矿用电动机运行数据进行工况划分。然后,根据马氏距离计算出电动机电流、电动机三相绕组温度、电动机前端轴承温度和电动机后端轴承温度等健康评估指标的健康指数(HI),采用Savitzky–Golay滤波器对指标HI进行降噪、平滑、归一化处理,并结合主成分分析法计算的不同指标对矿用电动机的贡献度,对指标HI进行加权融合得到矿用电动机HI。最后,将矿用电动机HI输入CNN-GRU-AMSA模型中,该模型通过动态调整注意力权重,实现对不同尺度特征的信息融合,从而准确输出电动机健康状态评估结果。实验结果表明,与其他常见的深度学习模型CNN,CNN-GRU,CNN-LSTM,CNN-LSTM-Attention相比,CNN-GRU-AMSA模型在均方根误差、平均绝对误差、准确率、Macro F1及Micro F1等评价指标上更优,且预测残差的波动范围更小,稳定性更优。

基于注意力机制的自适应图卷积三维点云识别算法

为了更好地捕捉三维点云的局部几何结构信息,提出了一种基于注意力机制的自适应图卷积三维点云识别算法.为了解决固定卷积核忽略特征的缺点,首先通过图结构特征动态学习自适应卷积核;其次为了提高模型对局部几何结构的建模能力,通过向量注意力机制自适应地调整卷积核的权重分配;而后使用点云的位置特征构建图,并利用自适应卷积核来对新构建的图结构特征进行卷积操作;最后通过池化得到新的点云特征.实验结果表明,相较之前的点云卷积算法,所提算法在采样点较少时仍可以很好地提取局部几何结构信息并在分类任务上取得较高精度.所提算法在ModelNet40,ScanObjectNN和ShapeNetPart数据集上的效果对比目前的点云分类和分割方法具有一定的优势.

面向交通场景基于双注意力机制和自适应代价卷的自监督单目深度估计

针对当前交通场景下自监督单目深度估计存在特征表达能力弱、深度图局部细节模糊、深度估计精度低的问题,提出一种基于双注意力机制和自适应代价卷的自监督单目深度估计方法.该方法首先利用双注意力机制的特征提取网络,结合通道注意力和空间注意力,对提取的场景特征进行自适应加权,增强特征表达能力.其次,根据提取的全局特征自适应的构建代价卷,引导网络学习精细的深度特征,提升网络模型对深度图局部细节的学习能力,解决现有方法深度估计精度低的问题.在自动驾驶公开数据集KITTI、Cityscapes上的实验结果表明,本文方法优于目前主流方法.

基于自适应注意力机制的红外与可见光图像目标检测

针对红外和可见光目标检测方法存在的不足,将深度学习技术与多源目标检测相结合,提出了一种基于自适应注意力机制的目标检测方法。该方法首先以深度可分离卷积为核心构建双源特征提取结构,分别提取红外和可见光目标特征。其次,为充分互补目标多模态信息,设计了自适应注意力机制,以数据驱动的方式加权融合红外和可见光特征,保证特征充分融合的同时降低噪声干扰。最后,针对多尺度目标检测,将自适应注意力机制结合多尺度参数来提取并融合目标全局和局部特征,提升尺度不变性。通过实验表明,所提方法相较于同类型目标检测算法能够准确高效地在复杂场景下实现目标识别和定位,并且在实际变电站设备检测中,该方法也体现出更高的泛化性和鲁棒性,可以有效辅助机器人完成目标检测任务。

基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型

由浙江大学申请的专利(公布号CN114387207B,公布日期2024-07-12)“基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型”,提供了1种基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型。轮胎瑕疵检测方法模型训练阶段将轮胎X光图像裁剪后。

基于注意力机制和多级校正的单目室内场景深度估计

场景的深度估计在三维视觉领域有着广泛的应用。针对单目室内场景深度估计精度低、细粒度信息预测能力差等问题,提出一种基于注意力机制和多级校正的单目深度估计网络。该网络首先采用混合自注意力Transformer和卷积神经网络的双分支模块提取彩色图像的多分辨率特征,然后利用基于空间域注意力机制的模块对提取的多分辨率特征进行渐进融合,最后通过多级校正的方式处理融合后的特征,并渐进地估计出不同分辨率的深度图像。实验结果表明,与同类方法相比,所提出的网络可有效提高深度图像细粒度信息的预测能力,网络的多个评价指标均有不同幅度的提升。

多智能体双注意力自适应熵深度强化学习

在执行–评价算法和最大熵强化学习算法中分别存在价值函数过高估计和温度参数脆弱性的问题,从而导致策略网络陷入局部最优.针对此问题,本文提出了一种基于双集中注意力机制与自适应温度参数的多智能体强化学习算法.首先,要构建出两个初始参数不同的具有注意力机制的评价网络,通过这两个评价网络对策略网络做出更加准确的评价,从而避免出现过高估计问题而导致策略网络陷入局部最优.其次,本文提出了自适应温度参数的最大熵强化学习算法,计算出每个智能体的策略熵和基线熵,从而动态调整温度参数以实现自适应调整智能体的探索.最后,在受限的合作导航环境和受限的宝藏收集环境中验证了本文算法的有效性,本文算法的平均总成本与平均总惩罚优于其他算法.

基于注意力与多级特征融合的YOLOv5算法

针对复杂场景下目标检测与识别精度较低的问题,提出了一种基于注意力与多级特征融合的YOLOv5目标检测与识别算法。该算法在传统YOLOv5s模型的主干网络中引入双空间方向的金字塔切分注意力机制,增强对特征空间和通道信息的学习能力,同时在瓶颈网络中采用多级特征融合结构,对不同分支的特征进行融合,增加特征的丰富性,提升应对复杂场景的能力。此外,利用C3Ghost模块和深度可分离卷积分别替换C3模块和普通卷积,降低网络参数量和复杂度。结果表明:与传统的YOLOv5s算法相比,所提算法在VOC2007+2012数据集的均值平均精度高达85%,在智能零售柜商品识别数据集的均值平均精度高达97.2%,表现出较好的性能。

基于增强多头注意力机制的Optuna-BiGRU测井岩性识别

测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种通过Optuna超参数优化双向门循环单元(Optuna-BiGRU)结合增强多头注意力机制(EMHA)的测井岩性识别模型——Optuna-BiGRU-EMHA模型。该模型引入残差机制和层归一化以改进多头注意力机制模块,并结合双向门循环单元(BiGRU)解决了处理测井数据时的问题,同时使用Optuna超参数优化框架和小波包自适应阈值方法分别解决了超参数调优和噪声干扰问题。首先通过交会图分析和敏感性箱线图分析选取自然伽马、深感应电阻率、中子-密度孔隙度、平均中子-密度孔隙度和岩性密度5个特征参数的测井数据,通过小波包自适应阈值方法对数据进行去噪,并将测井数据分割成数据块,然后利用Optuna框架优化BiGRU-EMHA模型超参数,最后通过实验对比K-近邻算法(KNN)、随机森林(RF)、极端梯度提升算法(XGBoost)、长短期记忆(LSTM)神经网络、BiGRU、双向长短期记忆(BiLSTM)神经网络、BiGRU-MHA、Optuna-BiGRU-EMHA等8种模型在测井岩性识别中的精度。结果表明:Optuna-BiGRU-EMHA模型识别准确率达到80%,相对于传统机器学习模型和深度学习模型,综合岩性识别准确率分别提高15.94%~23.14%和3.93%~15.94%,该模型为常规测井岩性识别提供了坚实的理论支持。

基于自适应注意力机制的复杂场景下牛脸检测算法

牛面部检测与识别是牛场智能化养殖的关键,但由于牧场养殖环境的复杂性,牛脸检测会受到模糊、逆光和遮挡3种常见环境因素的严重干扰。针对此问题,该研究提出一种复杂场景下基于自适应注意力机制的牛脸检测算法,该算法首先针对3种干扰因素分别设计了评价指标,并将3种不同类型的评价指标通过模糊隶属度函数进行归一化,并确定自适应权重系数,真实反映目标所处场景的复杂性;之后,基于YOLOV7-tiny在主干特征提取网络引入一种注意力机制CDAA(composite dual-branch adaptive attention),设计通道和空间注意力并行结构,并融合自适应权重系数,有效加强相应注意力分支的权重,提高网络在复杂场景下的特征提取能力,解决复杂场景下网络检测精度差的问题;最后,将图像场景评价指标引入损失函数,对大尺度网格损失函数的权重进行自适应调整,使网络在训练过程中更专注于数量较多的小型目标,从而提升网络整体的检测精度。为检测算法的有效性和实时性,在特定数据集上进行消融试验,并与多种经典检测算法进行对比,并移植至Jetson Xavier NX平台测试。测试结果表明,该算法检测精度达到89.58%,相较于原YOLOV7-tiny网络,牛脸检测精度提高了7.34个百分点。检测速度达到62帧/s,在检测速度几乎不损失的条件下,检测效果优于原网络与对比网络。研究结果可为复杂场景下的牛脸高效检测提供参考。

基于SimAM注意力机制的轴承故障迁移诊断模型

针对轴承故障在跨工况迁移诊断时,其域不变特征难以提取,易出现模型过拟合这一问题,提出了一种基于无参数注意力模块(SimAM)的轴承故障迁移诊断方法。首先,以一维卷积神经网络作为基本框架,利用自适应批量归一化(AdaBN)对各输出层进行了归一化处理,经两层卷积层和两层池化层后,对输出特征进行了随机节点失活操作;然后,利用改进后的参数化修正线性单元(PReLU)激活函数自适应提取负值输入权值系数,分别以交叉熵损失函数监督训练有标签的源域数据,以均方对数误差(MSLE)作为损失函数训练无标签的目标数据;最后,利用自制实验台数据和凯斯西储轴承公开数据对模型进行了验证,分别以不同的单一工况作为源域,其余工况作为目标域进行了迁移诊断任务研究。研究结果表明:基于SimAM的轴承故障迁移诊断方具有较好的域不变特征提取的性能,且所提特征具有较好的聚类效果;自制实验台中的平均迁移精度在89.1%以上,最高均值可达97.85%,CWRU数据集中的平均迁移精度达98.68%。该成果可为后续轴承故障由实验向工业现场的迁移诊断奠定基础。

基于多尺度自适应注意力的图像超分辨率网络

针对大多数图像超分辨率重建方法利用单尺度卷积进行特征提取,导致特征提取不充分的问题,提出基于多尺度自适应注意力的图像超分辨率网络。为充分利用各个层次特征中的上下文信息,设计了多尺度特征融合块,其基本单元由自适应双尺度块、多路径渐进式交互块和自适应双维度注意力依次串联组成。首先,自适应双尺度块自主融合两个尺度的特征,获得了更丰富的上下文特征;其次,多路径渐进式交互块以渐进的方式交互自适应双尺度块的输出特征,提高了上下文特征之间的关联性;最后,自适应双维度注意力自主选择不同维度注意力细化输出特征后,提高了输出特征的鉴别力。实验结果表明,在Set5,Set14,BSD100和Urban100测试集上,本文方法在PSNR和SSIM定量指标上相比于其他主流方法相均有提升,尤其对于纹理细节难以恢复的Urban100测试集,本文方法在比例因子为×4时,相较于现有最优方法SwinIR,PSNR和SSIM指标分别提升了0.05 dB和0.0045;在视觉效果方面,本文的重建图像具有更多的纹理细节。

融合注意力机制与自适应模板更新的目标跟踪算法

针对基于孪生网络的跟踪算法在目标快速移动、发生较大形变、处于复杂背景等情况下容易出现跟踪性能下降的问题,提出一种融合注意力机制与自适应模板更新的目标跟踪算法。跟踪算法以SiamRPN为基础,通过在特征提取网络融合通道注意力机制与空间注意力机制,抑制图像中的干扰信息,补充目标特征在通道空间中的信息,更好地对目标进行定位。将对象在不同时刻的模板,包括初始模板、累积模板和预测模板作为帧残差模块的输入,采用残差学习策略,充分利用初始模板语义信息,自适应更新当前帧所需的模板,减少了跟踪飘移的现象。在OTB100数据集上的实验结果表明,本文跟踪算法与其他跟踪算法相比取得了更高的跟踪成功率和准确率。

基于交叉注意力的无监督域适应轴承故障诊断

针对轴承在变工况场景下,振动数据存在分布差异,故障标记样本不足的跨域故障诊断问题,提出基于交叉注意力的无监督域适应轴承故障诊断方法.首先,使用交叉注意力模块对齐跨域间局部相似样本,并提取源域和目标域的故障数据特征;其次,使用基于Wasserstein距离的域对齐策略,以对齐全局边缘特征分布;最后,对无标签的目标工况样本,提出伪标签生成方案,进一步对齐细粒度的类别信息.实验结果表明,所提方法具有较高的诊断精度,在变工况场景下更具优势.