基于多残差注意力深度收缩网络的超微光图像增强方法

超微光成像可在极度黑暗的环境中给观察者提供近乎白昼的视觉体验,在许多民用和军事应用中起着至关重要的作用。超微光环境下拍摄的图像和视频通常存在亮度与对比度极低、噪声水平高、场景细节和色彩严重缺失等固有缺陷,近年来,深度学习为超微光成像的研究带来了新的机遇。文中采集并提供了一组实用性更强的超微光训练数据集,提出了一种多残差注意力深度收缩网络(Multi Residual Attention Shrinkage Network),以此实现了一种新的超微光成像方法。通过成功研制的小型化样机证实了该方法的工业量产前景。实现了基于通道注意力和空间注意力的残差内注意力机制,以及基于深度软阈值收缩的外注意力机制,不仅可以有效提取并还原极低照度环境下的图像细节信息,恢复场景真实色彩,而且可以有效去除此类环境下由成像设备感光不足带来的巨量噪声。实测效果显示该方法可对极低照度环境进行有效的增强且实时性高。通过与多种业界最新方法比较,文中方法在主观视觉体验以及客观参数两方面均表现更好。

ECPANet:一种基于注意力的深度卷积神经网络通道剪枝方法

在深度学习领域中,卷积神经网络的快速发展导致了先进模型需要大量的计算和存储资源。然而,将这些模型部署到计算和存储资源受限且高实时性的嵌入式设备上变得越来越具有挑战性。为解决这个问题,通道剪枝已成为网络压缩的主要方法之一。传统的通道剪枝方法存在着精度下降和难以确定通道重要性的问题。针对这些问题,提出了一种高效的通道注意力剪枝方法。通过将ECPANet模块嵌入到深度卷积神经网络中以增强其表征能力,评估每个通道在特征映射中的重要性,并根据通道重要性因子剪枝掉不重要的通道以减小模型的大小和计算量。实验结果表明,与传统的通道剪枝方法相比,基于注意力的通道剪枝方法能够更准确地确定通道重要性,从而提高剪枝效果和模型性能。

基于注意力机制深度学习的轻量级无线网络数据分选方法

轻量级无线网络通常用于资源受限的设备,使得数据传输和处理能力有限,且数据量庞大,特征识别较为困难,导致数据分选精度较低。为此,提出基于注意力机制深度学习的轻量级无线网络数据分选方法。计算数据的特征值,对基础数据量化预处理,采用领域粗糙集算法测算出数据分选的冗余限值,多阶提取数据特征,构建注意力机制深度学习网络数据分选流程,采用最优筛选的方式来实现数据分选处理。最终的测试结果表明:针对选定的6个数据分选测试周期,注意力机制深度学习网络数据分选方法最终得出的数据分选平均F⁃Score均可以达到85%以上,说明在注意力机制深度学习技术的辅助下,当前所设计的数据分选方法的针对性更强、效率更高,具有实际的应用价值。

连续小波变换和具有注意力机制的深度残差收缩网络在低压串联电弧故障检测中的应用

当室内配电系统发生串联电弧故障时,电弧燃烧温度可高达数千摄氏度,从而导致电气火灾的发生。而低压配电网中负载类型复杂,利用一般的电流信号时频分析,很难对串联电弧故障进行有效识别。针对这一问题,文章利用深度学习强大的计算机视觉能力,提出了一种基于注意力机制和深度残差收缩网络(attention mechanism and deep residual shrinkage network,Attention-DRSN)的故障检测方法。首先,使用连续小波变换提取电流信号特征信息,并转化为图像特征。其次,对提取到的图像特征进行数据增强和灰度化处理,并利用主成分分析方法(principal component analysis,PCA)对特征图像进行了重构。最后,构建了Attention-DRSN电弧故障检测模型,并采用K-折交叉验证方法对数据集进行划分,验证了所提方法的有效性。实验结果表明,该检测方法对串联电弧故障具有较高的检测精度,平均检测准确率为98.52%,对未来电弧故障检测装置设计具有重要的借鉴意义。

融合CNN-BiGRU和注意力机制的网络入侵检测模型

为提高网络入侵检测模型特征提取能力和分类准确率,提出了一种融合双向门控循环单元(CNN-BiGRU)和注意力机制的网络入侵检测模型.使用CNN有效提取流量数据集中的非线性特征;双向门控循环单元(BiGRU)提取数据集中的时序特征,最后融合注意力机制对不同类型流量数据通过加权的方式进行重要程度的区分,从而整体提高该模型特征提取与分类的性能.实验结果表明:其整体精确率比双向长短期记忆网络(BiLSTM)模型提升了2.25%.K折交叉验证结果表明:该模型泛化性能良好,避免了过拟合现象的发生,印证了该模型的有效性与合理性.

多区域注意力的细粒度图像分类网络

目前细粒度图像分类的难点在于如何精准定位图像中高度可辨的局部区域以及其他辅助判别特征。提出一种多区域注意力的细粒度图像分类网络来解决这个问题。首先使用Inception-V3对图像特征进行提取,通过重复使用注意力擦除的方法使模型关注次要特征;然后通过背景去除以及上采样的方法获取图像更精准的局部图像,对提取到的局部特征进行位置统计,并以矩形框的方式获取图像整体,减少细节信息丢失;最后对局部与整体图像进行更加细致的学习。此外,设计联合损失函数,通过动态平衡难易样本和缩小类内差距的方法改善模型的识别效果。实验结果表明,该方法在公开的细粒度图像数据集CUB-200-2011、Stanford-Cars和FGVC-Aircraft上的准确率分别达到89.2%、94.8%、94.0%,相较于对比方法性能更优。

注意力可变形卷积网络的木质板材瑕疵识别

为了解决木材缺陷检测中人工成本高、效率低的问题,该文基于可变性卷积网络和注意力机制,提出一种端到端的神经架构模型.首先,可变形卷积网络(Deformable Convolutional Network, DCN)通过将矩形网格转换为变形网格,使模型专注于具有更多有用图像信息的区域.使用可变形卷积网络可以忽略图像特征中不相关的系数,解决了传统卷积在特征中学习更多信息能力有限的问题.然后,将DCN输出馈送到门控循环单元(Gated Recurrent Unit, GRU)层以学习缺陷图像的高级特征.最后,通过关注输入图像的最重要特征,应用注意力机制加强瑕疵区域的高亮度,从而提高模型识别的准确性.使用Matlab平台在4个木质板材缺陷数据集上将该文方法与现有其他方法进行比较分析,该文方法的准确率比其他3种对比方法提高了2.4%~13.2%的维度,灵敏度提高了3.3%~16.6%的维度,特异性提高了4%~21%的维度.实验结果表明,该文方法在检测精度和其他各个性能方面均优于现有方法,最佳准确率为99.2%,证明了该文方法的有效性.

基于高效通道注意力的多阶段图像去雨网络

针对现有图像去雨算法不能更好地保留图像背景细节的问题,提出一种基于高效通道注意力的多阶段图像去雨网络。首先,网络使用3×3卷积提取雨图的浅层特征并传递给高效通道注意力模块,为不同的特征通道分配不同的权重;然后,传递给3个并行阶段,在前2个阶段中,使用编码-解码器进行多尺度特征提取,减少雨纹信息丢失,其中使用Transformer模块抑制无用信息传递;最后,在第3个阶段使用初始分辨率模块代替编码-解码器,从而保留输出图像的精细特征。实验结果表明,所提算法在Rain800、Rain12、Rain100L和Rain100H公开测试集上的结构相似性分别为0.830、0.968、0.960和0.944,峰值信噪比分别为27.33 dB、35.27 dB、36.79 dB和28.94 dB。所提算法相比于经典和新颖的图像去雨算法,在去除雨纹和恢复背景细节上具有更好的效果。

基于自注意力机制的深度强化学习交通信号控制

交通信号控制(Traffic Signal Control, TSC)仍然是交通领域中最重要的研究课题之一。针对现有基于深度强化学习(Deep Reinforcement Learning, DRL)的交通信号控制方法的状态需要人为设计,导致提取交通状态信息难度大以及交通状态信息无法全面表达的问题,为了从有限特征中挖掘潜在交通状态信息,从而降低交通状态设计难度,提出一种引入自注意力网络的DRL算法。首先,仅获取交叉口各进入口车道车辆位置,使用非均匀量化和独热编码方法预处理得到车辆位置分布矩阵;其次,使用自注意力网络挖掘车辆位置分布矩阵的空间相关性和潜在信息,作为DRL算法的输入;最后,在单交叉口学习交通信号自适应控制策略,在多交叉口路网中验证所提算法的适应性和鲁棒性。仿真结果表明,在单交叉口环境下,与3种基准算法相比,所提算法在车辆平均等待时间等指标上具有更好的性能;在多交叉口路网中,所提算法仍然具有良好的适应性。

融合Transformer和交互注意力网络的方面级情感分类模型

现有的大多数研究者使用循环神经网络与注意力机制相结合的方法进行方面级情感分类任务。然而,循环神经网络不能并行计算,并且模型在训练过程中会出现截断的反向传播、梯度消失和梯度爆炸等问题,传统的注意力机制可能会给句子中重要情感词分配较低的注意力权重。针对上述问题,该文提出了一种融合Transformer和交互注意力网络的方面级情感分类模型。首先利用BERT(bidirectional encoder representation from Transformers)预训练模型来构造词嵌入向量,然后使用Transformer编码器对输入的句子进行并行编码,接着使用上下文动态掩码和上下文动态权重机制来关注与特定方面词有重要语义关系的局部上下文信息。最后在5个英文数据集和4个中文评论数据集上的实验结果表明,该文所提模型在准确率和F1上均表现最优。

基于交替注意力机制和图卷积网络的方面级情感分析模型

方面级情感分析旨在预测给定文本中特定目标的情感极性。针对忽略方面词和上下文之间的句法关系和平均池化带来的注意力差异性变小的问题,提出一种基于交替注意力(AA)机制和图卷积网络(GCN)的方面级情感分析模型(AA-GCN)。首先,利用双向长短期记忆(Bi-LSTM)网络对上下文和方面词进行语义建模;其次,通过基于句法依存树的GCN学习位置信息和依赖关系,再利用AA机制进行多层次交互学习,自适应地调整对目标词的关注度;最后,拼接修正后的方面特征和上下文特征,得到最终的分类依据。相较于基于目标依赖的图注意力网络(TDGAT),所提模型在4个公开数据集上准确率提升了1.13%~2.67%,在5个公开数据集上F1值提升了0.98%~4.89%,验证了利用句法关系和提升关键词关注度的有效性。

基于深度可分离卷积和交叉注意力的水面污染识别

水面污染严重影响水面景观和水体生态.针对识别水面污染过程中水面场景复杂、小目标污染物特征难以提取等问题,本文提出一种基于深度可分离卷积与交叉注意力算法模块(deep-wise convolution and cross attention,DCCA).使用深度可分离卷积降低模型的参数量和计算量,使用交叉注意力建立不同尺度特征图之间的关系,使模型更好地理解上下文信息并提高识别复杂场景和小目标的能力.实验结果表明,添加DCCA模块后平均精确率提升了1.8%,达到了88.7%.并使用较少的显存占用提高了水面污染的检测效果.

基于深度可分离卷积和残差注意力模块的车道线检测方法

针对全天候条件下道路车道线视觉检测技术存在的算法结构复杂、参数数量较多等问题,提出一种基于深度可分离卷积和残差注意力模块的车道线检测方法,建立了LPINet网络模型。利用深度可分离卷积减小输入图像尺寸,设计三种不同结构的瓶颈残差单元降低网络参数数量,引入ECANet注意力机制增加重要特征通道权重,提升车道线检测精度。在Tusimple数据集和GZUCDS自建数据集上的实验结果表明:在晴天场景下,LPINet网络车道线检测精度可达96.62%,且模型参数量降至1.64 MB,实现了轻量化设计;在雾天、雨天、夜晚和隧道复杂场景中进行了探索性研究,车道线检测精度达到93.86%,证明了方法的有效性。

应用小波通道注意力网络的地震数据重建方法

重建缺失的地震道是地震数据处理的关键环节之一。近年来提出了多种基于深度学习理论的地震数据重建方法。然而,这些方法中常用的卷积运算只能捕捉到地震数据的局部特征,没有充分利用全局信息。另外,池化操作也会造成特征图信息的丢失,从而破坏地震反射的细节特征。为此,提出了基于小波通道注意力网络的地震数据重建方法。哈尔(Haar)小波变换能够有效提取信号的多尺度特征,并在上采样过程中避免信息的丢失;高效通道注意力模块通过对不同通道特征图之间的相关性进行建模,能实现全局信息的充分利用。合成和实际地震数据的实验结果表明,与具有代表性的深度学习方法相比,文中所提出的网络模型可以产生更准确的重建结果。

基于注意力机制的残差特征聚合网络超分辨率图像重建研究

针对单图像超分辨率算法级联残差块的输出特征仅在局部作用的问题,提出了一种结合注意力机制的残差特征聚合网络。该网络通过跳跃连接将各残差块输出不同层次的特征聚合到残差组的尾部,实现特征的充分提取与复用,扩大网络的感受野并增强特征的表达能力,使得不同层次的特征图更充分地参与到图像重建中。同时,为增强特征信息空间上的相关性,引入增强空间注意力机制以改善残差块的性能。大量实验表明,此模型可以获得良好的超分辨率性能。在×4倍SR任务中与RCAN,SAN和HAN等主流方法相比,在5个基准测试集上取得的峰值信噪比平均提升0.07 dB,0.06 dB,0.006 dB,结构相似度平均提升0.0012,0.0011,0.0008,重建图像质量明显提高,细节更加丰富,充分说明了所提方法的有效性与先进性。

基于感受野扩展残差注意力网络的图像超分辨率重建

针对现有残差网络存在残差特征利用不充分、细节丢失的问题,提出一种结合两层残差聚合结构和感受野扩展双注意力机制的深度神经网络模型,用于单幅图像超分辨率(SISR)重建。该模型通过跳跃连接形成两层嵌套的残差聚合网络结构,对网络各层提取的大量残差信息进行分层聚集和融合,能减少包含图像细节的残差信息的丢失。同时,设计一种多尺度感受野扩展模块,能捕获更大范围、不同尺度的上下文相关信息,促进深层残差特征的有效提取;并引入空间-通道双注意力机制,增强残差网络的判别性学习能力,提高重建图像质量。在数据集Set5、Set14、BSD100和Urban100上进行重建实验,并从客观指标和主观视觉效果上将所提模型与主流模型进行比较。客观评价结果表明,所提模型在全部4个测试数据集上均优于对比模型,其中,相较于经典的超分辨率卷积神经网络(SRCNN)模型和性能次优的对比模型ISRN(Iterative Super-Resolution Network),在放大2倍、3倍、4倍时的平均峰值信噪比(PSNR)分别提升1.91、1.71、1.61 dB和0.06、0.04、0.04 dB;视觉效果对比显示,所提模型恢复的图像细节纹理更清晰。

DMANet:针对空间非合作目标位姿估计的密集多尺度注意力网络

利用单目相机对空间非合作目标进行准确的姿态估计对于空间碎片清除、自主交会和其他在轨服务至关重要。然而,单目姿态估计方法缺乏深度信息,导致尺度不确定性问题,大大降低了其精度和实时性。本文首先提出了一种多尺度注意块(Multi-scale attention block, MAB),从输入图像中提取复杂的高维语义特征。其次,基于MAB模块,提出了空间非合作目标6自由度位姿估计的密集多尺度注意网络(Dense multi-scale attention network, DMANet),该网络由平面位置估计、深度位置估计和姿态估计3个分支组成,通过引入基于欧拉角的软分类方法,将位姿回归问题表述为经典分类问题。此外,设计了空间非合作目标模型,并利用Coppeliasim构建了姿态估计数据集。最后,与其他最先进的方法相比,在SPEED+、URSO数据集和本文数据集上全面评估了所提出的方法。实验结果表明,该方法具有较好的姿态估计精度。

基于监督对比学习和混合注意力残差网络的隔膜泵单向阀故障诊断

由于工业生产环境中的强噪声和其他环境激励,隔膜泵单向阀不同故障的特征呈现一定的相似性,导致传统深度学习方法对单向阀的故障状态难以准确识别。为解决这一问题,提出了一种结合监督对比学习和混合注意力残差神经网络(HA-ResNet)的隔膜泵单向阀故障诊断方法。首先,将注意力机制引入了残差神经网络以提升网络的学习能力,自适应调节了重要但微弱特征权重,并以恒等变换减少了有效信息被抑制现象;其次,提出了加权“监督对比损失(SCL)+交叉熵(CE)损失”,调节单向阀不同故障状态数据之间的距离,明确了单向阀不同故障状态的分类边界与降低噪声或环境激励的干扰;最后,通过工程实测数据,对监督对比学习和HA-ResNet融合方法的有效性和稳定性进行了验证。研究结果表明:监督对比学习和HA-ResNet融合方法在隔膜泵单向阀验证集上的平均准确率达到了99.3%;与其他故障诊断方法相比,其在诊断精度和稳定性上都具有一定的优势,验证了该方法在噪声干扰条件下故障诊断的可靠性。

基于注意力机制的残差网络入侵检测模型

针对现有网络入侵检测技术存在的数据不平衡导致检测准确率不足、实时性差和泛化性能低等问题,对基于ResNet(深度残差网络)的入侵检测模型进行改进。在ResNet的每个Dense(全连接)层后添加自注意力层,形成残差连接,旨在通过捕捉长距离依赖关系增强特征表示能力,同时提升网络的学习能力、灵活性和解释性。使用CIC-IDS-2017数据集对新模型进行验证,结果显示,模型的准确率为97.56%,真正例率为97.46%,误报率为4.00%,损失函数值快速收敛至0.044。本文模型与其他文献模型相比,真正例率平均提升约5.62百分点,准确率平均提升约3.94百分点。

基于时空图注意力网络的服务机器人动态避障

为了解决服务机器人在具有自主决策能力的密集人群中容易发生碰撞、假死和路径不自然等问题,在深度强化学习的框架下提出基于时空图注意力网络的服务机器人动态避障算法。时空图注意力网络作为邻近策略优化(PPO)算法的决策函数,首先采用门控循环单元控制机器人对环境的记忆和遗忘程度,提取环境的时间特征,使其对行人运动趋势有一定的预测作用;然后采用图注意力网络获取机器人和行人在空间上的隐式交互特征,使机器人能寻找无碰撞路径;最后在PPO算法中对时空图注意力网络进行训练,使得机器人在人群中完成无碰撞导航任务。在人均2.5 m^(2)的动态封闭环境中对算法进行实验验证,结果表明,与非学习型的动态窗口算法相比,该算法导航成功率提高71个百分点,与基于学习型的DSRNN-RL算法相比,该算法导航成功率提高3个百分点同时导航路径更短。Gazebo环境下的实时导航测试结果表明,所提算法的平均推理时间为21.90 ms,可以满足实时导航的要求。