基于时空Inception残差注意力网络的脑电情绪识别

为了提高脑电情绪识别分类精度,最大限度利用脑电信号的空间和时间信息,提出一种Inception残差注意力卷积神经网络与双向长短期记忆(bi-directional long short-term memory, BiLSTM)网络相结合的新型架构时空Inception残差注意力网络。将脑电信号采集电极位置映射到二维矩阵中,采集信号作为通道,构成三维数据;将得到的三维数据输入到时空Inception残差注意力卷积网络之中,提取时空信息;将得到的特征输入到全连接层进行分类;将Inception结构引入脑电情绪识别领域,实现多尺度特征提取,并将电极映射到矩阵之中,保留电极位置信息,使用时空Inception残差注意力网络从时空两个维度获取脑电相关信息。实验表明,使用该模型对DEAP数据集进行情绪四分类可得到93.71%的准确度,相较于对比模型,识别精度提高了10%~20%。提出的模型在脑电信号情绪识别领域具有优良性能。

基于多尺度残差注意力网络的全色锐化方法

针对传统深度学习的遥感图像全色锐化方法未考虑源图像多尺度方向信息和通道间的关联紧密性,导致融合图像出现空间信息丢失和光谱失真问题,提出了一种基于多尺度残差注意力网络的遥感图像全色锐化方法。将低空间分辨率多光谱(low-resolution multi-spectral, LRMS)图像经过双三次插值上采样与高空间分辨率全色(panchromatic, PAN)图像级联,得到一个5通道图像作为输入;设计3个并行的多尺度残差注意力网络从空间和通道两方面提取源图像不同频度的特征,每个子网络包含浅层特征提取、深层特征提取、特征融合、特征重建过程,将三者的输出进行跳连接获得最终融合图像,将光谱角映射、平均绝对误差和几何梯度权重相加作为一种新的损失函数来训练参数,以提高网络的信息表征能力;选择在WorldView-2和WorldView-3数据集上与其他7种融合方法进行对比实验,并在WorldView-3数据集上对模型的网络结构及损失函数性能进行验证,实验结果表明:该方法在光谱信息和空间信息保持方面具有明显优势。

基于残差注意力网络模型的浮游植物识别

浮游植物作为水生态系统中最重要的生物组成部分之一,对水环境敏感,在水环境监测中得到了广泛的关注。然而水生环境复杂多样,准确高效地识别浮游植物是监测工作中的一大挑战。当前浮游植物识别方法可分为经典形态学分类、分子标记和人工智能图像识别三类。前两种方法已被广泛采用,但费时费力,不利于监测机构的大规模应用和推广。同样,利用图像进行自动化分类难以在高准确率与高效率上达到平衡。深度学习技术的发展为此提供了新思路。本文提出一种新的深度卷积神经网络RAN-11。该网络以残差注意力网络Attention-56和Attention-92为基础,凭借通道对齐融合主干上的底层特征与顶层特征,通过调整注意力模块和残差快个数以精简结构,并引入了Leaky ReLU激活函数代替ReLU。以太湖11个优势属共计1036张图像为数据来源进行对比验证。除星杆藻外,RAN-11对单一优势属的的查准率都在90%以上,并且有5个优势属达到100%的查准率。RAN-11的识别准确率为95.67%,推理速率为41.5帧/s,不仅比Attention-92(95.19%的准确率,23.6帧/s)更准确,而且比Attention-56(94.71%的准确率,41.2帧/s)更快,真正兼顾了准确率与效率。研究结果表明:(1)RAN-11在查准率、准确率和推理速率上优于原始残差注意力网络,更优于以词包模型为代表的传统图像识别方法;(2)融合多尺度特征、精简网络结构和优化激活函数是提高卷积神经网络性能的有力手段。建立在经典分类基础之上,本文提出新的残差注意力网络来提升浮游植物鉴定技术,并构建出浮游植物自动化识别系统,识别准确率高、易于推广,对于实现水体中浮游植物的自动化监测具有重要意义。

基于监督对比学习和混合注意力残差网络的隔膜泵单向阀故障诊断

由于工业生产环境中的强噪声和其他环境激励,隔膜泵单向阀不同故障的特征呈现一定的相似性,导致传统深度学习方法对单向阀的故障状态难以准确识别。为解决这一问题,提出了一种结合监督对比学习和混合注意力残差神经网络(HA-ResNet)的隔膜泵单向阀故障诊断方法。首先,将注意力机制引入了残差神经网络以提升网络的学习能力,自适应调节了重要但微弱特征权重,并以恒等变换减少了有效信息被抑制现象;其次,提出了加权“监督对比损失(SCL)+交叉熵(CE)损失”,调节单向阀不同故障状态数据之间的距离,明确了单向阀不同故障状态的分类边界与降低噪声或环境激励的干扰;最后,通过工程实测数据,对监督对比学习和HA-ResNet融合方法的有效性和稳定性进行了验证。研究结果表明:监督对比学习和HA-ResNet融合方法在隔膜泵单向阀验证集上的平均准确率达到了99.3%;与其他故障诊断方法相比,其在诊断精度和稳定性上都具有一定的优势,验证了该方法在噪声干扰条件下故障诊断的可靠性。

基于BiGRU和残差图注意力网络的股票价格预测模型

高效、准确的股票价格预测能帮助投资者合理规划交易方式,提高投资收益。针对现有股票价格预测模型的准确率不高、投资收益率低等问题,提出一种结合双向门控循环单元(BiGRU)和残差图注意力网络(ResGAT)的股票价格预测模型(BiGRU-ResGAT)。首先,通过结合注意力机制的时间滑动窗口方法(TSWMCAM)动态计算不同股票之间的关联系数,构建表征股票之间关联关系的股票图结构;然后,使用BiGRU捕获股票在时序上的长距离依赖信息;最后,利用ResGAT对股票的时序特征与股票间的关联特征进行深度挖掘和融合,并对股票价格进行预测。在上海证券交易所主板市场498支股票上的价格预测结果显示,与支持向量机(SVM)、门控循环单元(GRU)、复合模型(CNN-LSTM)和关系股票排序模型(RSR)相比,BiGRU-ResGAT在股票测试集上平均绝对误差(MAE)分别降低79.53%、63.20%、48.17%、33.19%,均方根误差(RMSE)分别降低80.23%、66.22%、53.99%、29.99%,决定系数(R-Squared)分别提升23.34%、15.22%、9.54%、4.84%;在投资组合上的累计收益率分别提升10.77、7.89、6.81、5.03个百分点。实验结果表明,BiGRU-ResGAT能够有效地挖掘和融合股票数据的关键特征,对股票价格进行预测。

基于深度残差收缩注意力网络的雷达信号识别方法

针对低信噪比条件下雷达信号识别率低,以及分类网络不具备识别样本库新添加信号类型的局限,提出了一种基于深度残差收缩注意力网络的雷达信号识别方法。通过网络将一维雷达信号映射到32维向量空间。网络中的残差连接能有效强化特征的传播能力,解决网络过深无法训练的问题;注意力机制的引入,不仅构建掩码支路充当主干支路的特征选择器,还能够帮助网络自适应地选择合适的阈值进行软阈值化,从而减少网络中噪声或者冗余信息的影响,提高网络对噪声的鲁棒性。训练过程中排序表损失(ranked list loss,RLL)和分类损失函数共同指导网络训练。RLL能够有效克服传统度量学习损失函数忽略类内特征的问题,分类损失函数能够弥补度量损失优化下对样本整体分布不敏感的问题。实验表明,该方法在提高低信噪比雷达信号识别准确率的同时仍具有识别样本库新添加信号类型的能力。

利用残差通道注意力网络的高光谱图像分类

残差网络能够有效地解决卷积神经网络出现的梯度消失问题,应用于高光谱图像分类取得了良好的效果,但简单地堆积残差单元并不能很好地提高模型性能。通道注意力机制能够有区别地处理卷积层输出的特征图,更好地利用对分类有用的特征通道。为了充分利用残差网络及通道注意力机制的特征提取能力,设计适用于高光谱图像分类的残差通道注意力网络。在残差单元中结合卷积层和通道注意力机制,实现对特征通道的重新调整,并在模型中实现局部残差学习和全局残差学习,促进信息传递,增强模型稳定性。实验结果表明,该方法用于Indian Pines数据和University of Pavia数据能够分别取得98.78%和 99.22%的分类精度,在有限数量训练样本的情况下,能够达到较高的分类精度。

基于多尺度注意力残差网络的图像超分辨率重建

数字图像在传递信息中起着重要的作用,图像超分辨率技术能丰富图像的细节信息.针对许多网络对低分辨率图像的有效特征复用不足和参数量过大的问题,本文结合不同大小的卷积核以及注意力残差机制构建图像超分辨率网络,用3个有差别尺度的卷积层来提取图像的特征,其中第2和第3层用小卷积核替代大的卷积核,对3层卷积融合之后引入注意力机制,最后用传统的Bicubic插值直接给网络提供低频信息.在减小参数量和减轻梯度消失的同时,让有效的高频信息得到更大的权重且能增强网络之间的非线性表达能力,这有利于网络训练的迭代收敛.实验结果表明,基于多尺度注意力残差网络能够在一定程度上增强图像的重建能力.

面向轴承早期故障检测的多尺度残差注意力深度领域适配模型

针对由工作环境和设备状况的差异引起的轴承早期故障检测模型可靠性差、误报警率高的问题,根据早期故障检测的特点和需求,提出一种多尺度注意力深度领域适配模型。首先,将监测信号处理成由原始信号、希尔伯特-黄变换边际谱、频谱组成的三通道数据;然后,通过在残差注意力模块中增加不同尺寸的滤波器以提取多尺度深度特征,使用卷积-反卷积操作来重构输入信息从而获得注意力信息,并且将注意力信息与多尺度特征融合构建了一种多尺度残差注意力模块,用于提取对早期故障表征能力更强的注意力特征;其次,在所提取到的注意力特征基础上,构建基于交叉熵和最大均值差异(MMD)正则化约束的损失函数来实现领域适配;最后,采用随机梯度下降算法进行网络参数优化,构建端到端的早期故障检测模型。在IEEE PHM-2012数据挑战赛数据集上的实验结果表明,与8种代表性的早期故障检测和诊断方法以及迁移学习算法相比,所提方法能够在不延迟报警时间点的前提下,分别比8种方法的平均误报警率降低了62.7%和61.3%,有效提高了早期故障检测的鲁棒性。

基于注意力残差网络的Wi-Fi设备的射频指纹识别

由于无线介质的开放性,传统的基于安全协议的无线网络安全存在隐患,基于物理层的射频指纹(RFF)识别,具有特征难以伪造的优点,能有效提高无线网络的安全性.针对多场景、多设备识别任务,构建了基于注意力残差卷积神经网络的射频指纹识别方法.实验采集构建了完备的数据集,数据集包含32个Wi-Fi模块,覆盖802.11b标准的2.4 GHz模块.对比结果表明:该方法在32个Wi-Fi模块的识别中达到90%的识别精度,高于传统算法86%的识别率和卷积神经网络方法的89%的识别率;不同采样率的数据集在2 dB时均可以达到90%以上的识别精度,最终在信噪比(SNR)大于20 dB时,识别精度可以达到96%.

基于分割注意力机制残差网络的城市区域客流量预测

客流量预测是城市交通资源和公共安全智能化管理的重要依据。为了综合考虑城市乘客人群流动自身的既有周期性、趋势性和突发性,以及与城市物理和社会空间的耦合关系,在时空残差网络的基础上,本文提出了基于深度时空数据的分割注意力机制残差网络的城市细粒度客流量预测模型。首先以不同时空间隔的区域客流量历史数据为基础,引入分割注意力机制模块,为各模态的数据分配不同的权重,动态捕捉更高相关性的抽象数据特征;在时空数据的基础上,引入城市功能区属性作为联合特征,结合节假日、气候等外部特征,形成deep&wide网络结构,有效记忆重要特征对客流量变化的贡献。基于北京出租车数据的区域客流量对比实验表明,相比于传统的深度时空残差网络和其他经典机器学习模型,引入了分割注意力机制和城市功能区特征的预测模型能够更好地提取数据多元化的特征,预测精度明显优于其他同类别方法。

基于油色谱时频域信息和残差注意网络的变压器故障诊断方法

提出了一种基于油色谱时频域数据和残差注意力的变电站故障分类模型。对收集到的油色谱数据,计算其频域分量和时频域分量的特征比值,将所有数据作为网络的输入来训练网络;残差注意力网络通过跨层连接的方式来堆叠注意力模块,以降低网络的过拟合影响并提升模型训练速度,同时注意力模块能够重点关注对结果影响大的信息,进一步提高对变电站故障分类的准确度。通过实际数据验证了所提方法的有效性和性能的优越性。

基于高低频特征分解的深度多模态医学图像融合网络

多模态医学图像融合旨在利用跨模态图像的相关性和信息互补性,以增强医学图像在临床应用中的可读性和适用性。然而,现有手工设计的模型无法有效地提取关键目标特征,从而导致融合图像模糊、纹理细节丢失等问题。为此,提出了一种新的基于高低频特征分解的深度多模态医学图像融合网络,将通道注意力和空间注意力机制引入融合过程,在保持全局结构的基础上保留了局部纹理细节信息,实现了更加细致的融合。首先,通过预训练模型VGG-19提取两种模态图像的高频特征,并通过下采样提取其低频特征,形成高低频中间特征图。其次,在特征融合模块嵌入残差注意力网络,依次从通道和空间维度推断注意力图,并将其用来指导输入特征图的自适应特征优化过程。最后,重构模块形成高质量特征表示并输出融合图像。实验结果表明,该算法在Harvard公开数据集和自建腹部数据集峰值信噪比提升8.29%,结构相似性提升85.07%,相关系数提升65.67%,特征互信息提升46.76%,视觉保真度提升80.89%。

基于改进卷积神经网络和射频指纹的无人机检测与识别

针对无人机(UAV)在图像识别时易受环境干扰,而传统信号识别难以准确提取特征且实时性较差的问题,提出一种基于改进卷积神经网络(CNN)和射频(RF)指纹的无人机检测识别方法。首先,使用通用软件无线电外设(USRP)捕获环境中的无线电信号,经过多分辨率分析获取偏差值,检测是否为无人机射频信号;其次,将检测到的无人机射频信号经过小波变换和主成分分析(PCA)处理,获得射频信号频谱,作为神经网络的输入;最后,构建轻量级残差神经网络(LRCNN),输入射频频谱进行网络训练,进行无人机的分类识别。实验结果表明,所提方法可以有效检测并识别无人机信号,平均识别精度可达84%;在信噪比(SNR)大于20 dB时,LRCNN的识别精度达到了88%,相较于支持向量机(SVM)、原始OracleCNN分别提高31和7个百分点,在识别精度和鲁棒性方面比这两种方法均有所提升。

采用差分星座图的SDR设备射频指纹识别

差分星座图(Differential Constellation Trace Figure,DCTF)在射频指纹(Radio Frequency Fingerprint,RFF)识别中具有良好的性能,但在低信噪比情况下会产生严重的模糊。为了提高DCTF的识别精度,设计了注意力残差卷积神经网络模型,即DCTF-Res2Net模型。该模型在网络提取特征时加入注意力模块来提高DCTF的识别精度,并将标签平滑损失函数与网络模型结合,有效缓解了DCTF中的离群点对网络模型的干扰。在实验中,根据不同的传输方式和传输场景构建了完备的DCTF的数据集,并用DCTF-Res2Net模型对其进行分类。实验结果表明,在信噪比为5 dB的情况下,与传统的残差网络相比,所提出的DCTF-Res2Net模型可以达到更高的识别精度。

一种轻量化的遥感图像数据分析算法设计

针对传统遥感图像数据分析算法存在鲁棒性较差、适应度与计算效率均偏低的问题,文中基于YOLOv3提出了一种轻量化的遥感图像数据分析算法。该算法使用YOLOv3作为神经网络模型的框架,并将内部的Darknet-53多尺度卷积作为主网络。为了减小主网的冗余度,通过SE-Net模型连接网络的深层与浅层卷积,在轻量化的同时也增强了模型的深度特征提取能力。同时,根据改进后网络的权重输出结果,采用剪枝算法对卷积核进行简化,进而完成了模型的轻量化。在实验测试中,轻量化后的模型可显著提升FPS(Frames Per Second)值,且算法的mAP指标为93.25%,在对比算法中为最优,表明了算法模型的有效性及其性能的优越性。

基于改进DBNet的招牌文本检测研究

店面招牌文本是街景图像中的重要信息,招牌信息与地理信息结合用途广泛,为了发掘招牌中的文本信息,实验采用计算机视觉技术,提出一种基于DBNet算法改进的招牌文本检测方法。首先,利用ResNet残差网络提取招牌文本特征;其次,提出一种残差注意力路径聚合网络替换原有金字塔网络,增强多尺度特征融合;最后,对融合增强的特征通过可微分二值化操作加速文本后处理来得到近似二值图,以完成招牌文本与背景的分割。实验结果表明,该方法能够有效地检测出招牌中的文本。

Vision Transformer的瞳孔定位方法

为了解决现有瞳孔定位方法易受瞳孔图像质量的约束,采用CNN提取图像的局部特征,通过Transformer的编码器获得全局依赖关系,发掘出更为准确的瞳孔中心信息,在公开数据集上对比了主流的DeepEye和VCF瞳孔定位模型。结果表明:提出的基于混合结构的Vision Transformer瞳孔定位方法在5像素误差内瞳孔中心的检测率比DeepEye提升了30%,比VCF提升了20%。

基于CWT和CooAtten-Resnet的弧齿锥齿轮箱故障诊断方法研究

提出一种基于连续小波变换(CWT)和坐标注意机制残差网络(CooAtten-Resnet)的弧齿锥齿轮箱智能故障诊断方法。首先将振动信号重叠采样获得大量信号样本,将这些样本通过连续小波变换将振动信号转化为时频图,并以此构建不同故障下的时频数据集,同时通过人为添加噪声样本以验证噪声对此类诊断方法的影响;然后将时频图数据集用于CooAtten-Resnet训练;最后对故障进行分类并输出诊断结果。结果表明,该方法可以准确的识别弧齿锥齿轮箱故障,无人为添加噪声的情况诊断准确率可达100%,添加噪声后在无降噪处理的情况下准确率仍在93%以上。相较于其他方法,该方法的准确率更高,抗噪能力更强,网络收敛速度更快,诊断结果更稳定。

基于RAN与深度哈希的图像检索方法研究

针对基于卷积神经网络提取的图像特征不仅包含目标信息,还包括杂乱的背景信息这一问题,提出了一种基于残差注意力网络与深度哈希的算法,该算法通过残差注意力网络提取图像特征,输入到哈希层得到图像的二进制编码,通过对比待查询图像的哈希码与训练集中每一张图像的哈希码之间的汉明距离来检索图像,可实现端到端的训练和检索。在Flickr和NUS-WIDE数据集上的实验结果表明,与残差网络相比,所提方法在平均检索精度上大约提升了1.1%~2.7%,有较高的准确率且检索性能相对稳定。