基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

融合注意力机制和轻量级卷积神经网络的胸部CT影像分类方法研究

同一疾病类型的CT影像也会由于患者患病严重程度不同而呈现差异,现主要临床诊断方法依赖医生专业能力及过往经验,客观性有待增强,效率有待提高。针对以上问题,提出一个融合注意力机制的CT分类网络—并联轻量级CT分类卷积神经网络(PC-CTNet)。该网络主要由并联支路通道混洗(PCS)模块和深度高效跳跃连接(DES)模块组成。PCS模块采用双分支并联,融合了多尺度感受野的特征;DES模块则利用卷积和高效通道注意力提取有效的深层类间区分信息,并通过跳跃连接避免梯度消失。结果表明,PC-CTNet模型在包含5988张大小不一的CT数据集上分类准确率能达到98.46%,在包含194922张的开源数据集上分类准确率能达到98.75%。PC-CTNet的各项性能指标均接近现有的胸部CT分类网络,且其参数量和计算量约为0.32、75.58 M,分别为实验比较中胸部CT分类网络的10.17%和3.21%,拥有更高的参数效率和计算效率,能有效辅助医生诊断,提高诊断效率和客观性。

融合注意力机制卷积神经网络的扬声器异常声分类

针对扬声器异常声非线性、非平稳且易受外部噪声干扰,以及因特征冗余而导致扬声器异常声识别率偏低的问题,提出一种基于变分模态分解(variational mode decomposition, VMD)和一维卷积循环注意力网络(1DCNN-BiLSTM-Attention)相结合的扬声器异常声分类方法。首先,采集不同类型异常声信号,采用VMD对异常声信号进行分解并提取扬声器异常声特征,构建标签化的初始数据;其次,将特征数据输入至1DCNN-BiLSTM网络中进行初始化特征提取,利用注意力机制自适应优化网络对异常声特征的学习权重,提升网络对特征鉴别能力,并优化Dropout抑制网络在训练过程中存在的过拟合问题,构成1DCNN-BiLSTM-Attention分类网络;最后,将所提方法应用于扬声器异常声分类中。实验结果表明:该方法可以有效提取到扬声器异常声中的关键特征,平均分类准确率为99.17%,与VGG16、RF和DCNN相比,其准确率分别提高了13.14%、0.56%,12.34%。

基于自注意力和门控循环神经网络的雷达回波外推算法研究

为提升现有神经网络对雷达回波序列的时、空特征提取能力,建立外推性能更优的时、空序列预测模型,开展雷达回波外推算法改进研究。基于深圳市气象局与中国香港天文台共同建立的雷达回波数据集,在数据处理层面,通过改进对雷达回波图像序列归一化的方法,提升了常用的5种时、空序列预测模型对强回波的预测水平;在模型算法层面,将两个联立的自注意力结构引入ST-LSTM结构,组成新的循环门控单元,并将这些循环门控单元进行堆叠,建立ST-SARNN模型。选用CSI和POD作为精度评价指标,进行模型对比分析得到:(1)改进的归一化方法提升了近几年内常用的5种时、空序列预测模型对强回波的预测水平。(2)加入自注意力的ST-SARNN模型对雷达回波的预测性能显著优于ConvLSTM、PredRNN和MIM等模型。改进的归一化方法能改变样本数据分布,并在一定程度上提升模型外推性能;自注意力结构能够有效挖掘雷达回波序列的时、空特征,进而改进神经网络的外推表现。

循环神经网络和注意力增强的门控图神经网络会话推荐模型

现有大部分基于图神经网络的会话推荐系统都可较好捕捉商品在会话图中的近邻上下文关系,但少有重点关注时序关系的系统.然而,这两种关系都对电商场景下的精准推荐具有重要作用.为此,文中基于双向长短期记忆网络和门控图神经网络,提出循环神经网络和注意力增强的门控图神经网络会话推荐模型,旨在实现不同网络结构的优势互补,充分学习用户在当前会话中表现的兴趣偏好.具体地,文中模型采用并行化框架结构,分别学习电商场景下用户会话点击流中商品间的近邻上下文特征和时序关系,再分别使用注意力机制进行去噪处理,最后基于门控机制实现这两种特征间的自适应融合.在3个真实数据集上的实验表明文中模型的性能较优.文中模型代码见https://github.com/usernameAI/RAGGNN.

基于注意力卷积神经网络的视觉里程计

传统的视觉里程计(visual odometry,VO)要求图像含有大量的纹理信息,且求解过程较为复杂。针对以上问题提出基于注意力卷积神经网络的视觉里程计,对相机进行端到端的位姿估计,利用注意力机制提高模型估计轨迹的精度。首先,使用注意力-卷积神经网络(convolutional neural networks,CNN)模块提取图像特征;然后,将特征输入到门控循环单元(gated recurrent unit,GRU)学习图像的时序连接性;最后,通过全连接层降维输出相机位姿。在KITTI数据集上完成实验,并与其他方法进行对比,结果表明卷积网络中加入注意力机制可以有效提高轨迹估计的精度,且误差低于其他视觉里程计算法。

基于注意力机制循环神经网络的液体火箭发动机故障检测

针对液体火箭发动机主级段工作过程,采用多变量非线性时间序列分析理论,在两级注意力机制循环神经网络(Dual Stage Attention Based Recurrent Neural Networks,DA-RNN)的基础上,提出一种新型时序分析工具——卷积两级注意力机制循环神经网络(Convolutional Dual Stage Attention Based Recurrent Neural Networks,CDA-RNN),从而建立故障趋势预测模型。通过对预测残差进行自相关性分析并定义故障置信概率,提出了故障检测量化依据。利用发生微弱故障的热试车数据进行验证,结果表明,CDA-RNN模型对非稳态工作段微弱故障多参数检测具有良好鲁棒性,该方法十分有效,具有直接应用价值。

基于注意力机制多尺度卷积神经网络的轴承故障诊断

提出了基于注意力机制的多尺度卷积神经网络(Multi-scale and Attentive Convolutional Neural Network,MACNN)进行轴承故障分类,该模型以一维Resnet18网络结构为主体,卷积模块采用残差模块和空洞卷积并行方式以达到扩大感受野、避免特征信息丢失的目的,同时利用注意力机制可以自动提取有用特征的能力,将模型提取特征作为输入送入注意力机制模块,进一步提高模型故障分类能力。此外,采用边界平衡生成对抗网络(Boundary Equilibrium Generative Adversarial Networks,BEGAN)模型对故障数据增强,改变不平衡数据集的比例,增加数据集样本数量,降低MACNN模型的过拟合,提高诊断的准确率。在帕德博恩轴承数据集(Paderborn University Dataset,PU)上验证MACNN模型,实验结果表明,该模型在特征提取和故障分类方面都表现出了良好的性能,优于当前主流模型。

基于卷积神经网络与通道和空间注意力机制的房颤预测模型研究

目的采用人工智能技术提出一种模型,以对房颤进行早期预防和诊断。方法提出一种基于卷积神经网络(convolutional neural network,CNN)与通道和空间注意力机制(convolutional block attention module,CBAM)的模型用于对房颤的诊断与预测。结果根据长期心房颤动数据库、MIT-BIH心房颤动数据库和MIT-BIH正常窦性心律数据库的数据,提出的模型在全盲的情况下总体准确率达94.2%。结论提出的模型满足了医学心电图解释的需要,为房颤的预测研究提供了新思路。

基于注意力机制的卷积神经网络机械钻速预测方法

传统机器学习方法在进行机械钻速(rate of penetration,ROP)预测时,受复杂特征提取和人为认知局限性的影响,难以满足现场预测精度要求。基于此,提出一种特征提取和回归预测相结合的机械钻速预测方法。首先,采用箱型图和独热编码对钻井实测数据进行预处理,清除异常数据并将离散特征连续化。其次,应用卷积神经网络(convolutional neural network,CNN)挖掘数据特征,并在网络中引入通道注意力机制(squeeze-and-excitation network,SENet),实现对CNN特征通道重要性程度的合理分配,建立SE-CNN机械钻速预测模型。最后,将SE-CNN模型与CNN模型进行对比分析,结果表明:SE-CNN模型的拟合优度提高了2.1%,平均绝对误差和均方根误差分别降低了1.1%和1.5%。SE-CNN模型具有更高的预测精度,可以用于现场机械钻速预测,为钻井提速提供科学参考。

融合注意力机制和新型卷积神经网络的市政道路病害识别

环境和荷载协同作用导致的路面病害对道路使用性能和安全性能的影响日益突出。现有图像智能识别算法难以实现处理速度和计算量的平衡。针对道路病害快速准确实时识别的需求,对石家庄损伤较为严重的路面进行实地拍照,结合已有图片,采用数据增强技术构建了市政道路病害数据集,并且提出了一种基于MobileNetV3网络的轻量化道路病害识别网络模型GEM-MobileNetV3。该模型首先使用Ghost模块代替MobileNetV3网络基本单元中的1×1卷积;然后结合改进后的高效通道注意力机制(efficient channel attention,ECA)模块提取病害目标的重要特征;最后将网络浅层的ReLU激活函数替换为泛化能力更强的Mish激活函数,提高模型的整体性能。通过消融实验与对比实验,验证了新模型的有效性。实验结果表明,新模型准确率达到96.33%,其参数量与计算量较MobileNetV3模型分别降低了37.9%和36%。提出的新模型在保持较高识别准确率的同时有效降低了模型复杂度,为在低成本计算平台上实现高准确率实时识别提供了新途径。

基于多头注意力机制和门控循环单元神经网络的居民充电桩容量预测

居民充电桩的容量预测可为其定容选址提供参考,助力实现“双碳”目标,为此提出了一种基于数据驱动的居民充电桩容量预测方法。首先,采集了居民充电桩的历史容量数据并进行预处理;其次,利用不同大小的时序窗口对其进行切片作为输入特征;最后,构建了结合多头注意力机制和门控循环单元神经网络的预测模型,将特征输入模型从而实现了对未来容量的精准预测。通过实例分析表明,该模型预测结果的平均绝对误差和均方根误差分别为33.19和102.14%,预测精度相较于其他模型有较大提升,为居民充电桩的容量预测提供了新思路。

高效通道注意力结合卷积神经网络的近红外光谱分析模型研究

近红外光谱分析技术有无损、高效的特点,在各领域都有广泛应用。但传统分析模型在面对近红外光谱数据量激增时往往出现预测精度不高、泛化能力差等问题。为此,提出一种基于卷积神经网络(CNN)与高效通道注意力(ECA)模块相结合的近红外光谱分析模型(CNNECANet),该模型由8个一维卷积层、1个ECA模块、4个最大池化层、1个展平层、2个全连接层和1个参数优化器组成。ECA模块由1个全局平均池化、1个一维卷积层和1个Sigmoid激活函数组成。以啤酒、牛奶、柴油、谷物的近红外光谱公共数据为例,将CNNECANet与常用建模方法进行比较,CNNECANet比PLS的预测精度分别提高了30.3%、14.1%、29.5%、48.4%;CNNECANet比SVR的预测精度分别提高了33.5%、17.6%、39.0%、50.0%;CNNECANet比BP神经网络模型的预测精度分别提高了80.0%、29.0%、7.2%、42.7%。该模型具有更好的预测精度和鲁棒性,解决了传统近红外光谱建模算法容易出现过拟合、模型泛化性差等问题。

融合注意力卷积神经网络在皮肤镜分割中的应用研究进展

在自动皮肤损伤分析工作中,由于皮肤上的毛发和皮肤病变的形状和对比度等因素,分割是一项具有挑战性和关键的操作。相对于传统分割方法,深度学习将特征提取和特定任务决策无缝地集成在一起,更精确、高效地实现分割任务,有效减轻皮肤癌筛查的负担和成本。本文首先介绍了皮肤镜分割和深度学习模型的背景,引出深度学习在皮肤镜分割中的应用。其次介绍了卷积神经网络和注意力机制的算法模型,调研了自2022年1月以来的融合注意力卷积神经网络在皮肤镜分割中的应用,归纳总结了论文中的改进策略,分析了模型的优缺点,并结合皮肤镜常用数据集和图像分割的评价指标对模型进一步分析。最后对融合注意力卷积神经网络在皮肤镜分割中的应用进行了总结和展望。

基于双阶段注意力机制循环神经网络的交通流预测

随着深度学习的发展,交通流预测的准确率越发提高,对时间序列的交通流预测进行研究,基于一种双阶段注意力机制循环神经网络模型(DA-RNN),以解决当前在交通流量的时间序列预测中存在的难以捕捉时间数据序列之间的相关性导致预测不够准确的问题,并解决实验中存在的过拟合现象。论文基于PEMS04数据进行实验并将预测结果与LSTM、GRU模型的预测结果进行对比,表明该时序预测模型具有良好的性能,可为交通管理与控制提供有效依据。

ECPANet:一种基于注意力的深度卷积神经网络通道剪枝方法

在深度学习领域中,卷积神经网络的快速发展导致了先进模型需要大量的计算和存储资源。然而,将这些模型部署到计算和存储资源受限且高实时性的嵌入式设备上变得越来越具有挑战性。为解决这个问题,通道剪枝已成为网络压缩的主要方法之一。传统的通道剪枝方法存在着精度下降和难以确定通道重要性的问题。针对这些问题,提出了一种高效的通道注意力剪枝方法。通过将ECPANet模块嵌入到深度卷积神经网络中以增强其表征能力,评估每个通道在特征映射中的重要性,并根据通道重要性因子剪枝掉不重要的通道以减小模型的大小和计算量。实验结果表明,与传统的通道剪枝方法相比,基于注意力的通道剪枝方法能够更准确地确定通道重要性,从而提高剪枝效果和模型性能。

基于注意力卷积神经网络的服装款式图廓特征识别方法

针对现有服装款式图廓特征识别方法存在特征识别技术复杂和识别精度不高的问题,提出基于注意力卷积神经网络的服装款式图廓特征识别方法。首先,采用数据增强方法对服装款式图廓类型标签进行分类;其次,通过损失函数计算并确定图廓特征分布梯度;然后,通过卷积神经网络构建特征识别模型;最后,引入注意力机制模块识别服装款式图廓特征。验证结果表明:与基于改进Resnet34和基于改进边缘检测算法的服装款式识别方法比,本文方法始终具有较高的复杂图廓识别精准度,对连衣裙款式样衣的图廓识别精准度可达99.1%,外套、裤子、短袖的款式均能达到90%以上。本文方法的识别效果精准有效,可推广于现实中服装款式图廓特征的识别。

基于多尺度卷积神经网络和注意力机制的模拟电路早期故障诊断方法

模拟电路具有非线性、元件容差等特性,导致不同故障模式之间存在混叠现象,特别是模拟电路早期故障,这大大增加了故障诊断的难度。因此,提出了一种基于小波变换和多尺度特征注意力卷积神经网络(MS-FACNN)的模拟电路早期故障诊断方法,采用小波变换得到脉冲响应信号的多尺度分量,利用设计好的MS-FACNN网络自动提取更加全面且高可分性故障特征,并实现故障模式识别。此外,采用高效通道注意力(ECA)聚焦故障高相关性特征,过滤低相关性的冗余信息,进一步提升模型特征提取能力。实验结果表明,相比传统方法,所提方法具有更强的故障特征提取能力,对四运放双二阶高通滤波器早期故障诊断的准确率达到99.18%。

用于视频压缩感知的特征域优化启发及多假设交叉注意力重构神经网络

现有视频压缩感知重建网络通常利用光流网络实现像素域运动估计与运动补偿。然而在重建过程中,光流网络的输入为质量较差的初始估计帧,导致获得的光流不准确,基于光流的像素域对齐与融合操作会造成噪声的累积,导致视频重建帧存在明显的人工效应,影响重建质量。基于特征域多通道信息对干扰噪声具有较强的鲁棒性,文中将特征域优化思想应用于视频压缩感知重构神经网络的设计中,提出了特征域优化启发及光流引导的多假设交叉注意力重构神经网络(FOFMCNet)。为避免光流中的噪声在图像变形时破坏图像结构的问题,文中在特征域设计了光流指导的多假设运动估计模块与基于交叉注意力的运动补偿模块,以实现特征域的帧间运动估计与运动补偿,从而更为充分地利用帧间相关性辅助非关键帧重构。为了在特征优化过程中加强有效信息的复用,提升网络学习能力并缓解梯度爆炸问题,文中设计了特征域优化启发U型网络(FOUNet),并作为FOFMCNet的子网络,通过多个FOUNet的级联,FOFMCNet在特征域实现非关键帧的优化与重建。实验结果表明,文中所提算法在经典低分辨率数据集(UCF-101和QCIF)和新的高分辨率数据集(REDS4)上的重构结果均优于现有的视频压缩感知算法。

基于可伸缩型注意力机制的神经网络地震数据去噪方法

地震资料中的随机噪声会影响地震数据的质量,从而影响后续处理与解释的准确性。传统去噪方法受先验条件的约束,效率低下,神经网络具有强大的特征提取能力,能够弥补这些缺点。然而,由于传统神经网络卷积核的局限性,可能会导致全局信息丢失。为了克服这个缺点,本文在卷积神经网络(CNN)的基础上,添加了可伸缩型注意力机制。该机制在网络中同时呈现密集和稀疏两种类型的自注意力模块,这两种注意力模块交替使用可以显著增强神经网络的表现能力,扩大接受场。通过卷积层和注意力模块提取地震数据浅层特征和深层特征,结合CNN的局部建模能力和Transformer的全局建模能力,有利于提升网络的全局交互作用,增强其去除噪声和处理细节的能力。最后,合成和实际地震数据实验结果均表明,该方法相较于Unet和DnCNN,具有更好的噪声压制与保留地震数据有效信息的能力,可以大幅提高信噪比,为地震数据的处理和解释提供帮助。