基于卷积—反残差和组合注意力机制的航天器多余物检测

航天器密闭电子设备内腔多余物给航天器飞行安全带来了巨大隐患。由于多余物体积小、与设备内常规组件形态结构相似且易被其他组件遮挡,采用现有的方法对其进行检测时误检、漏检频发。为解决上述问题,提出一种基于卷积—反残差和组合注意力机制的航天器密闭电子设备多余物检测网络RPDN。首先,网络通过构建卷积—反残差模块,保证了多余物细粒度特征的完整性;其次,设计组合注意力机制,增强了多余物特征的表征能力;最后,结合多尺度特征融合模块与目标检测层从多维度进行目标预测。实验结果表明RPDN在各项评价指标上均取得了良好的效果,mAP达到92.16%,检测效率达到了13FPS,实现了航天器密闭电子设备内腔多余物高效、精准检测。

融合注意力机制卷积神经网络的扬声器异常声分类

针对扬声器异常声非线性、非平稳且易受外部噪声干扰,以及因特征冗余而导致扬声器异常声识别率偏低的问题,提出一种基于变分模态分解(variational mode decomposition, VMD)和一维卷积循环注意力网络(1DCNN-BiLSTM-Attention)相结合的扬声器异常声分类方法。首先,采集不同类型异常声信号,采用VMD对异常声信号进行分解并提取扬声器异常声特征,构建标签化的初始数据;其次,将特征数据输入至1DCNN-BiLSTM网络中进行初始化特征提取,利用注意力机制自适应优化网络对异常声特征的学习权重,提升网络对特征鉴别能力,并优化Dropout抑制网络在训练过程中存在的过拟合问题,构成1DCNN-BiLSTM-Attention分类网络;最后,将所提方法应用于扬声器异常声分类中。实验结果表明:该方法可以有效提取到扬声器异常声中的关键特征,平均分类准确率为99.17%,与VGG16、RF和DCNN相比,其准确率分别提高了13.14%、0.56%,12.34%。

基于注意力机制和深度残差网络的滚动轴承故障诊断

针对现有的滚动轴承诊断模型特征提取能力不足、诊断准确率不高的问题,提出一种注意力机制与一维深度残差网络相结合的故障诊断方法。该方法首先通过引入残差结构来防止深度网络性能退化,然后结合注意力机制来提高网络的特征提取能力,最后使用原始的滚动轴承振动信号训练故障特征分类器。针对变工况故障诊断,本文采用小样本迁移学习框架。在两个开源实验平台上的结果表明,该方法能够有效地提高滚动轴承故障诊断的准确率,为实际应用提供一定的理论参考。

嵌入注意力机制的深度可分离卷积SAR目标识别

深度可分离卷积(Depthwise Separable Convolution,DSC)的应用使得深度学习的网络模型轻量化。在此基础上,提出了嵌入注意力机制的DSC合成孔径雷达(Synthetic Aperture Radar,SAR)目标识别方法。通过将DSC与注意力机制结合,提高网络对目标重要特征的学习能力;将多个DSC进行叠加和并联,设计多尺度网络模块,增强不同深度网络的特征提取能力;通过残差连接缓解深层网络的梯度弥散和梯度爆炸问题。使用公开数据集实验表明,所提方法在网络模型参数量较小的情况下,获得99.0%的平均识别率,具有较强的识别优势。

多尺度卷积与双注意力机制融合的入侵检测方法

为提高互联网入侵检测方法的准确率,提出一种卷积神经网络与注意力机制结合的入侵检测方法。利用Borderline-SMOTE过采样算法和MinMax归一化对数据进行预处理,有效缓解入侵数据量差异较大问题,提升非平衡数据检测性能;使用卷积神经网络Inception结构多尺度对数据进行特征提取,并配合注意力机制进行维度更新,提高模型处理海量数据时特征表达的准确性。研究结果表明:入侵检测方法的平均准确率为99.57%;相较于SVM方法、CNN方法、RNN方法、BLS-GMM方法,准确率分别提升了4.48%、1.35%、1.62%和0.04%,召回率分别提高了4.48%、1.36%、1.62%和0.14%。

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

注意力机制的混合卷积高光谱图像分类方法

高光谱图像以其高分辨率的空间和光谱信息在军事、航空航天及民用等遥感领域均有重要应用,具有重要的研究意义。深度学习具有学习能力强、覆盖范围广及可移植性强的优势,成为目前高精度高光谱图像分类技术研究的热点。其中卷积神经网络(CNN)因强大的特征提取能力广泛应用于高光谱图像分类方法研究中,取得了有效的研究成果,但该类方法通常单独基于2D-CNN或3D-CNN进行,针对高光谱图像的单一特征,一是不能充分利用高光谱数据本身完整的特征信息;二是虽然相应提取网络局部特征优化性好,但是整体泛化能力不足,在深度挖掘HSI的空间和光谱信息方面存在局限性。鉴于此,提出了基于注意力机制的混合卷积神经网络模型(HybridSN_AM),使用主成分分析法对高光谱图像进行降维,采用卷积神经网络作为分类模型的主体,通过注意力机制筛选出更有区分度的特征,使模型能够提取到更精确、更核心的空间-光谱信息,实现高光谱图像的高精度分类。对Indian Pines(IP)、University of Pavia(UP)和Salinas(SA)三个数据集进行了应用实验,结果表明,基于该模型的目标图像总体分类精度、平均分类精度和Kappa系数均高于98.14%、97.17%、97.87%。与常规HybridSN模型对比表明,HybridSN_AM模型在三个数据集上的分类精度分别提升了0.89%、0.07%和0.73%。有效解决了高光谱图像空间-光谱特征提取与融合的难题,提高HSI分类的精度,具有较强的泛化能力,充分验证了注意力机制结合混合卷积神经网络在高光谱图像分类中的有效性和可行性,对高光谱图像分类技术的发展及应用具有重要的科学价值。

基于注意力机制残差神经网络的近红外芒果种类定性建模方法

现代光谱检测技术的飞速发展与深度学习紧密相关,作为一种端到端的模型,深度神经网络可以从光谱中得到更多信息,从而提升模型鲁棒性。为探究近红外光谱结合深度学习对芒果种类定性预测的可行性,提出一种基于卷积注意力机制(CBAM)的一维残差神经网络(1D-AD-ResNet-18)模型。为降低光谱中冗余信息的干扰,在传统一维残差神经网络(1D-ResNet-18)中嵌入CBAM卷积注意力模块,该模块可重点关注光谱局部有用信息;为避免梯度消失、过拟合情况发生,使用解决网络“退化”问题的ResNet-18。对于186个芒果样本,采用70%的样本进行训练,30%的样本进行测试,采用准确度(Accuracy)、精确率(Precision)、召回率(Recall)、F1值(F1-score)、宏观平均值(Macro-average)以及加权平均值(Weighted-average)作为模型评价指标。建立传统1D-ResNet-18、SNV-SVM和PCA-KNN三种对比模型,与上述三种方法作对比,所建立的1D-AD-ResNet-18模型取得最优预测结果,四种定性分析模型的准确率分别为96.42%,80.35%,76.78%和67.85%。结果表明,1D-AD-ResNet-18模型实现了对芒果种类的准确识别与分类,为近红外光谱定性分析芒果种类提供了新思路。

改进卷积注意力机制的轻量级检测无人机目标模型

利用深度学习中特征提取的优势,提出一种改进算法,结合改进的卷积注意力模块,将YOLOv5模型骨干网络替换为改进的MobileNetv2轻量化网络,形成I-YOLOv5算法,旨在提高检测精确度和小目标、多目标的检测能力,同时保持实时性.为构建数据集,通过网络搜索和自主录制无人机视频的方式,用Label Img工具完成标注.结果表明,I-YOLOv5算法在检测精度上有显著提升,对小目标和多目标的检测效果更优秀,在视频检测方面表现出色,具有较好的实时性能.通过模型结构优化,使检测模型的大小减少为原来的18.6%,检测速度提升120%.I-YOLOv5算法的平均精度均值达到97.8%.

融合注意力机制和轻量级卷积神经网络的胸部CT影像分类方法研究

同一疾病类型的CT影像也会由于患者患病严重程度不同而呈现差异,现主要临床诊断方法依赖医生专业能力及过往经验,客观性有待增强,效率有待提高。针对以上问题,提出一个融合注意力机制的CT分类网络—并联轻量级CT分类卷积神经网络(PC-CTNet)。该网络主要由并联支路通道混洗(PCS)模块和深度高效跳跃连接(DES)模块组成。PCS模块采用双分支并联,融合了多尺度感受野的特征;DES模块则利用卷积和高效通道注意力提取有效的深层类间区分信息,并通过跳跃连接避免梯度消失。结果表明,PC-CTNet模型在包含5988张大小不一的CT数据集上分类准确率能达到98.46%,在包含194922张的开源数据集上分类准确率能达到98.75%。PC-CTNet的各项性能指标均接近现有的胸部CT分类网络,且其参数量和计算量约为0.32、75.58 M,分别为实验比较中胸部CT分类网络的10.17%和3.21%,拥有更高的参数效率和计算效率,能有效辅助医生诊断,提高诊断效率和客观性。

融合CBAM注意力机制与可变形卷积的车道线检测

为满足自动驾驶及汽车高级驾驶辅助系统(ADAS)对车道线检测准确性和实时性的要求,提出一种融合卷积块注意力机制(CBAM)与可变形卷积网络(DCN)的车道线检测方法CADCN。在特征提取模块中嵌入CBAM注意力机制,增强有用特征并抑制无用特征响应;引入可变形卷积替换常规卷积,用带偏移的采样学习车道线的几何形变,提高卷积核的建模能力;基于行锚分类思想,对行方向上的位置进行选择和分类分析,预测车道线的位置信息,提高车道线检测模型的实时性。在车道线公开数据集上对所提CADCN方法进行训练及验证,在满足实时性的情况下,CADCN方法在TuSimple数据集上准确率达到96.63%,在CULane数据集上综合评估指标F1平均值达到74.4%,验证了所提方法的有效性。

基于多尺度注意力机制的实例分割卷积神经网络

在Mask R-CNN实例分割模型的基础上提出一种新的深度学习方法MixedMask。该方法提出并应用两种有效的策略:(1)使用混合尺度的卷积核,提高网络对分辨率较低实例的提取能力;(2)在压缩激励网络的基础上进行改进,解决原网络中降低维度导致的通道信息丢失问题。在气球数据集和xBD数据集上进行测试,该算法分别达到了83.46%和58.92%的AP(IoU=50),相比Mask R-CNN模型,分别提升了1.3%和5.9%。

基于多尺度残差和注意力机制的图像去雾算法

雾的存在严重降低了图像的质量,阻碍了后续对图像的进一步处理.针对已有去雾算法特征提取不充分等问题,提出了一种端到端的基于多尺度空洞残差块和多尺度注意力机制的图像去雾算法.首先,通过三个小尺度的卷积核进行卷积运算提取雾图的浅层特征,可以在得到较大感受野的同时降低参数量.然后,将其输入多个由多尺度残差空洞卷积特征提取模块和多尺度注意力机制模块串联组成的网络模块,多尺度空洞卷积残差特征提取模块可以提取不同感受野的雾图特征并进行不同维度的特征融合,有效解决特征尺度单一问题;多尺度注意力机制模块可合理分配不同特征的权重,并抑制无关的冗余信息.最后,把雾图中的雾特征筛减便得到去雾图的特征图,再通过卷积操作恢复出无雾图像.通过在SOTS测试集上测试,得到了比其他几种经典方法更好的视觉效果,且在PSNR和SSIM上的表现也优于其他几种经典方法.

基于双向LSTM的双任务学习残差通道注意力机制手写签名认证

随着人工智能深度学习的发展,网络模型对于在线签名认证系统(Online Signature Verification, OSV)的性能有了显著的提升。然而,如何进一步提高在线手写签名认证的准确性仍然是一个需要解决的问题。为此,本文提出了一种基于双向LSTM的双任务学习残差通道注意力机制网络模型,用于改进手写签名认证。该模型使用残差通道注意力机制来学习序列特征的权重以便解决不同通道的权重分配问题,双向长短期记忆网络来缓解在深度神经网络中增加深度时可能带来的梯度消失和梯度爆炸问题。此外,引入多任务学习,包括有监督学习和深度度量学习,以更好地进行特征学习。最终,本文提出了一种基于多任务学习的训练方法,使得OSV系统的准确性进一步提高。所提出的方法在SVC-2004数据集中取得了2.33%的等错误率和97.03%的准确率。实验结果表明,所提出的方法能够有效地提高OSV系统的身份验证准确性。

结合残差与双注意力机制的U-Net语音增强方法

针对U-Net语音增强网络深层特征提取能力不足,以及编解码过程中特征信息丢失问题,提出一种结合残差与双注意力机制的DA-Res-Unet语音增强方法。将U-Net编解码部分设计为残差结构来深化网络,增强深层特征提取能力;在网络结构中构造双注意力机制,减少时频特征提取中的细节信息丢失;在网络中融入空洞空间金字塔池化结构,在低参数量情况下融合不同尺度上下文背景信息,提高模型特征捕获能力。实验结果表明,DA-Res-Unet网络模型在可见噪声测试集上的PESQ、STOI和LSD这3种评测指标取得了不同程度的提升,在未知噪声测试集上具备一定优势。

基于残差神经网络和注意力机制的频谱感知方法

随着通信技术的发展,频谱感知技术已经成为解决频谱资源稀缺的重要解决手段之一。针对传统的频谱感知方法在低信噪比(Signal to Noise Ratio,SNR)下准确率较低的问题,提出一种基于残差神经网络和注意力机制相结合的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)频谱感知方法。将频谱感知问题转化为图像二分类任务。通过分析OFDM信号的循环自相关特征,将其灰度处理以生成循环自相关灰度图像。利用改进后的残差神经网络进行训练,提取这些灰度图像的深层特征,使用测试数据验证所得到的频谱感知模型。仿真实验结果表明,在低SNR条件下,所提方法表现出更出色的频谱感知性能,优于传统频谱感知技术。

基于改进注意力机制的时间卷积网络-长短期记忆网络短期电力负荷预测

为充分挖掘蕴含在电力负荷数据中的有效时序信息,提高短期电力负荷预测准确度,本文提出一种基于改进注意力机制的时间卷积网络(TCN)-长短期记忆(LSTM)网络负荷预测模型。首先,将时序数据输入TCN模型中进行时序特征提取;然后,将所提取的时序特征与非时序数据组合,并输入LSTM模型中进行训练;最后,采用贝叶斯优化方法进行超参数寻优以获得TCN-LSTM模型的最优参数,引入通过多层感知器(MLP)改进的注意力机制以减少历史信息丢失并加强重要信息的影响,完成短期负荷预测。通过对比多种深度学习模型的预测效果表明,本文所提模型的短期电力负荷预测准确度更高。

基于深度可分离卷积和残差注意力模块的车道线检测方法

针对全天候条件下道路车道线视觉检测技术存在的算法结构复杂、参数数量较多等问题,提出一种基于深度可分离卷积和残差注意力模块的车道线检测方法,建立了LPINet网络模型。利用深度可分离卷积减小输入图像尺寸,设计三种不同结构的瓶颈残差单元降低网络参数数量,引入ECANet注意力机制增加重要特征通道权重,提升车道线检测精度。在Tusimple数据集和GZUCDS自建数据集上的实验结果表明:在晴天场景下,LPINet网络车道线检测精度可达96.62%,且模型参数量降至1.64 MB,实现了轻量化设计;在雾天、雨天、夜晚和隧道复杂场景中进行了探索性研究,车道线检测精度达到93.86%,证明了方法的有效性。

融合注意力机制的多视图卷积手势识别研究

基于表面肌电信号(sEMG)的手势识别在人机交互中发挥着重要作用,然而,由于sEMG具有非线性和随机性,因此提升基于稀疏多通道sEMG的手势识别准确率难度较高。提出一种融合注意力机制的多视图卷积手势识别模型。首先使用200 ms滑动窗口提取经典的sEMG特征集构建多视图输入,其次利用高效通道注意力对多视图特征在通道维度进行加权,以强化有效特征同时弱化无效特征,最后通过多视图卷积从带有注意力权重的肌电特征中提取高层特征,利用高层特征融合模块对其进行融合以降低数据维度并提高模型鲁棒性。在NinaPro DB1、NinaPro DB5、NinaPro DB73个肌电公共数据集上进行训练和评估,结果表明,该模型在200 ms滑动采样窗口上的平均识别准确率分别为87.98%、94.97%和89.67%,整段手势动作的平均投票准确率分别为97.38%、98.41%和97.09%,平均信息传输率为1308.71 bit/min。与传统机器学习方法和近年来前沿的深度学习手势识别方法相比,所提模型在单模态肌电和多模态手势识别上均具有更高的识别准确率,验证了其有效性和通用性。

基于深度残差网络和注意力机制的特殊车牌识别

为解决现有车牌识别算法在面对旋转倾斜车牌以及双行车牌图像时识别精度偏低的问题,提出一种基于深度残差网络和注意力机制的特殊车牌识别算法。优化深度残差网络结构,使模型更好提取低分辨率车牌图像的特征;取消对特征图平均池化操作,在保留图像全局特征的前提下,将多维特征化为特征序列;引入注意力机制对特征序列并行解码,加快模型推理速度,提升特殊车牌的识别精度。实验结果表明,与现有的文字识别模型CRNN、DAN、ASTER对比,在公开车牌数据集CCPD上取得了更高的准确率,验证了模型的有效性。