基于注意力机制残差神经网络的近红外芒果种类定性建模方法

现代光谱检测技术的飞速发展与深度学习紧密相关,作为一种端到端的模型,深度神经网络可以从光谱中得到更多信息,从而提升模型鲁棒性。为探究近红外光谱结合深度学习对芒果种类定性预测的可行性,提出一种基于卷积注意力机制(CBAM)的一维残差神经网络(1D-AD-ResNet-18)模型。为降低光谱中冗余信息的干扰,在传统一维残差神经网络(1D-ResNet-18)中嵌入CBAM卷积注意力模块,该模块可重点关注光谱局部有用信息;为避免梯度消失、过拟合情况发生,使用解决网络“退化”问题的ResNet-18。对于186个芒果样本,采用70%的样本进行训练,30%的样本进行测试,采用准确度(Accuracy)、精确率(Precision)、召回率(Recall)、F1值(F1-score)、宏观平均值(Macro-average)以及加权平均值(Weighted-average)作为模型评价指标。建立传统1D-ResNet-18、SNV-SVM和PCA-KNN三种对比模型,与上述三种方法作对比,所建立的1D-AD-ResNet-18模型取得最优预测结果,四种定性分析模型的准确率分别为96.42%,80.35%,76.78%和67.85%。结果表明,1D-AD-ResNet-18模型实现了对芒果种类的准确识别与分类,为近红外光谱定性分析芒果种类提供了新思路。

基于坐标注意力机制和残差网络的苹果外观品质检测

随着机器视觉技术的发展,利用卷积神经网络实现苹果品质分级已成为较优的应用技术。本研究以苹果外观品质特征为对象,提出了一种基于残差神经网络和坐标注意力机制的苹果品质检测方法。实验结果显示,引入坐标注意力机制后的Res Net18网络模型平均准确率达到91.4%,损失值为0.1。该方法在各项性能上优于ResNet18、34、50网络模型,能够有效实现苹果品质分级。

基于注意力机制和深度残差网络的滚动轴承故障诊断

针对现有的滚动轴承诊断模型特征提取能力不足、诊断准确率不高的问题,提出一种注意力机制与一维深度残差网络相结合的故障诊断方法。该方法首先通过引入残差结构来防止深度网络性能退化,然后结合注意力机制来提高网络的特征提取能力,最后使用原始的滚动轴承振动信号训练故障特征分类器。针对变工况故障诊断,本文采用小样本迁移学习框架。在两个开源实验平台上的结果表明,该方法能够有效地提高滚动轴承故障诊断的准确率,为实际应用提供一定的理论参考。

基于残差神经网络和注意力机制的频谱感知方法

随着通信技术的发展,频谱感知技术已经成为解决频谱资源稀缺的重要解决手段之一。针对传统的频谱感知方法在低信噪比(Signal to Noise Ratio,SNR)下准确率较低的问题,提出一种基于残差神经网络和注意力机制相结合的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)频谱感知方法。将频谱感知问题转化为图像二分类任务。通过分析OFDM信号的循环自相关特征,将其灰度处理以生成循环自相关灰度图像。利用改进后的残差神经网络进行训练,提取这些灰度图像的深层特征,使用测试数据验证所得到的频谱感知模型。仿真实验结果表明,在低SNR条件下,所提方法表现出更出色的频谱感知性能,优于传统频谱感知技术。

基于深度残差网络和注意力机制的特殊车牌识别

为解决现有车牌识别算法在面对旋转倾斜车牌以及双行车牌图像时识别精度偏低的问题,提出一种基于深度残差网络和注意力机制的特殊车牌识别算法。优化深度残差网络结构,使模型更好提取低分辨率车牌图像的特征;取消对特征图平均池化操作,在保留图像全局特征的前提下,将多维特征化为特征序列;引入注意力机制对特征序列并行解码,加快模型推理速度,提升特殊车牌的识别精度。实验结果表明,与现有的文字识别模型CRNN、DAN、ASTER对比,在公开车牌数据集CCPD上取得了更高的准确率,验证了模型的有效性。

基于残差神经网络、双向长短期记忆网络和注意力机制的肠鸣音检测方法研究

肠鸣音可以反映胃肠道的运动和健康状况,然而,传统的人工听诊方式存在主观性偏差且耗时耗力。为了更好地辅助医生对肠鸣音的诊断,提高肠鸣音检测的可靠性和高效性,该研究提出了一种结合残差神经网络(ResNet)、双向长短期记忆网络(BiLSTM)和注意力机制的深度神经网络模型。首先使用自主研发的多通道肠鸣音采集系统采集了大量带标签的临床数据,采用多尺度小波分解和重构方法对肠鸣音信号进行预处理,然后提取对数梅尔谱图特征送入网络进行训练,最后通过10折交叉验证和消融实验来评估模型的性能和验证其有效性。实验结果表明,该模型在精确率、召回率和F1分数方面分别达到了83%、76%和79%,能够有效地检测出肠鸣音片段并定位其起止时间,表现优于以往的算法。该算法不仅可以为医生在临床实践中提供辅助信息,还为肠鸣音的进一步分析和研究提供了技术支撑。

融合残差网络与注意力机制的草莓检测

针对草莓果实因受到自然光光照、枝叶遮挡、果实间存在遮挡等因素,较难实现成熟草莓果实识别的现状,提出融合深度残差网络与注意力机制的成熟草莓目标检测算法。引用信息表达能力更强的深度残差网络Resnet50对SSD目标检测算法模型基础骨干网络进行替换,对经过残差网络结构和新增卷积特征提取层得到信息特征提取图进行通道和空间方向的注意力机制方法处理,建立能准确实现成熟草莓目标检测的RC-SSD目标检测模型。试验结果表明,本文的RC-SSD算法模型对比Faster R-CNN、YOLOv3、SSD-VGG模型拥有较少的参数量,平均精度均值mAP分别提升46.05%、10.16%、5.77%,其中成熟草莓的识别精度达到99.04%。对比轻量化网络结构模型SSD-Mobilenetv2,RC-SSD算法模型在FPS相对于轻量化网络模型降低25帧的情况下,精度提升20.20%,FPS在GPU运行设备上达到86帧。

基于注意力机制的残差网络入侵检测模型

针对现有网络入侵检测技术存在的数据不平衡导致检测准确率不足、实时性差和泛化性能低等问题,对基于ResNet(深度残差网络)的入侵检测模型进行改进。在ResNet的每个Dense(全连接)层后添加自注意力层,形成残差连接,旨在通过捕捉长距离依赖关系增强特征表示能力,同时提升网络的学习能力、灵活性和解释性。使用CIC-IDS-2017数据集对新模型进行验证,结果显示,模型的准确率为97.56%,真正例率为97.46%,误报率为4.00%,损失函数值快速收敛至0.044。本文模型与其他文献模型相比,真正例率平均提升约5.62百分点,准确率平均提升约3.94百分点。

基于多头注意力机制的残差网络深度学习推荐模型

深度学习由于其强大的特征表达能力,在推荐研究领域的应用逐渐广泛。DIN(Deep Interest Network)是一种基于注意力机制和用户兴趣进行推荐的深度学习模型,针对其存在的特征训练完备性较低、推荐精度有待提高的问题,提出一种基于DIN改进的融合多头注意力模块与残差网络的深度学习推荐模型:MHAR-DIN(Multi-Head Attention Residual Deep Interest Network)。利用多头注意力模块基于用户历史行为进行注意力的打分,充分考虑用户的兴趣偏好,并引入残差网络结构将特征越过训练直接接入全连接器,解决过深网络难以训练的问题。在公开数据集MovieLens上与经典深度学习推荐模型的对比实验表明,所提MHAR-DIN模型具有一定有效性和可行性。

基于注意力机制辅助的空谱联合残差网络的高光谱图像分类

卷积神经网络(convolutional neural network,CNN)是高光谱图像分类中一种常用的方法,有着较好的分类表现。然而,CNN不可避免地会提取出一些冗余特征,这对高光谱图像分类的准确率造成干扰。此外,高光谱图像分类还面临着同谱异物、同物异谱问题。为了解决以上这些问题,提出了一种基于注意力机制辅助空谱联合残差网络的高光谱图像分类方法。一方面,通过使用注意力机制辅助的3-D、2-D残差网络,同时从光谱维度和空间维度提取空谱联合特征,克服同谱异物、同物异谱问题;另一方面,引入通道注意力机制和空间注意力机制,有效降低了冗余空谱特征的干扰。在2种高光谱数据集上的实验结果表明,相比同类对比算法,所提出的方法具有更优越的分类性能。

基于注意力机制的改进残差网络火焰温度场重建

基于卷积神经网络重建火焰温度场的方法近年来已被广泛采用,但是传统卷积神经网络模型随着其网络层数的增加极易出现过拟合或者模型退化的现象,导致重建误差较大。本文提出一种改进的方法,使用ResNet18网络进行火焰温度场重建,并引入注意力机制和局部重要性池化,优化提取内容,实现已知信息的充分利用,减少重建误差。实验结果表明,同时引入局部重要性池化和注意力机制后,温度场重建的平均相对误差为0.13%,最大相对误差为0.75%;相较于初始ResNet18网络,平均相对误差减少了31.58%,最大相对误差减少了34.21%。通过消融实验验证了两种因素对重建精度的影响,结果表明:同时加入两个改进模块后的温度场重建精度要优于加入单个改进模块后的精度,局部重要性池化模块对精度提升的作用更大。

基于注意力机制的残差网络超分辨率重建方法

针对现有方法在图像超分辨率重建中高频信息遗漏的问题,提出一种基于注意力机制的多层嵌套残差网络超分辨率重建方法,对不同的频次信息采用不同的特征提取方案。利用跨越残差网络结构将前端的特征信息利用恒等映射连接直接传送到后端的注意力机制模块,添加注意力机制的多层嵌套残差网络来捕捉原始图像中隐含的特征信息,通过深度并行残差网络结构融合图像特征信息。实验结果表明,改进后算法可有效提高图像超分辨率重建精度。

多尺度残差密集注意力网络图像超分辨率重建

目的使用单一尺度卷积网络提取低分辨率(low-resolution,LR)图像特征会造成大量图像高频特征丢失,为了获取更多高频特征,重建更清晰的超分辨率图像,方法提出一种基于多尺度残差密集注意力网络(multi-scale residual dense attention network)的单幅图像超分辨率重建算法。首先,使用卷积网络从低分辨率图像中提取浅层特征并将其作为后续网络各级输入;其次,采用各级多尺度残差密集注意力块(multi-scale residual dense attention block)处理前级网络图像特征并从中提取图像高频特征,多尺度残差密集网络善于提取更丰富的图像特征,并融入注意力机制,增强网络对高频区域特征的关注;然后,将网络各级提取不同深度的图像特征进行全局特征融合;最后,融合后的特征经上采样输出重建的超分辨率图像。结果放大因子为4时,网络在SET5,SET14,BSDS100,URBAN100和MANGA109数据集上测试,峰值信噪比分别为31.97,28.58,27.57,25.85,29.79 dB;网络中基本模块分别由多尺度残差密集注意力块、残差块和密集块替换提取特征,以峰值信噪比作为模块性能评估标准,多尺度残差密集注意力块表现更优异。结论该网络结合多尺度残差密集网络能够获取更丰富图像高低频信息,融入注意力机制有效对网络中高频信息进行提取,能重建纹理更清晰的超分辨率图像。

注意力残差网络结合LSTM的EEG情绪识别研究

基于脑电信号的情感识别已成为情感计算和人机交互领域的一个重要挑战。由于脑电信号中具有时间、空间、频率维度信息,采用结合注意力残差网络与长短时记忆网络的混合网络模型(ECA-ResNet-LSTM)对脑电信号进行特征提取与识别。首先,提取时域分段后脑电信号不同频带微分熵特征,将从不同通道中提取出的微分熵特征转化为四维特征矩阵;然后通过注意力残差网络(ECA-ResNet)提取脑电信号中空间与频率信息,并引入注意力机制重新分配更相关频带信息的权重,长短时记忆网络(LSTM)从ECA-ResNet的输出中提取时间相关信息。实验结果表明:在DEAP数据集唤醒维和效价维二分类准确率分别达到了97.15%和96.13%,唤醒-效价维四分类准确率达到了95.96%,SEED数据集积极-中性-消极三分类准确率达到96.64%,相比现有主流情感识别模型取得了显著提升。

基于融合注意力机制深度网络的半色调图像分类

现有的半色调图像分类方法存在着识别半色调图像类型较少、分类准确率较低等问题。为了进一步提高半色调图像的分类准确率,本文提出一种基于融合注意力机制深度网络的半色调图像分类方法。首先,应用稠密残差块深度提取半色调图像信息,并应用通道注意力机制提取不同通道间的半色调图像噪点分布特征;然后,应用空间注意力机制提取不同通道不同空间下半色调图像噪点之间的关系;最后,应用分类器对识别到的半色调图像噪点分布特征进行分类,从而实现对半色调图像的分类。实验结果表明,运用基于融合注意力机制深度网络的半色调分类方法可以以99.72%的准确率、0.9971的F1分数实现14类半色调图像的分类。与其他方法相比,本文提出的方法在半色调图像分类准确率上提高了0.14%~0.24%,在F1分数上提高了0.0014。该方法可以以最高的准确率实现最多类型的半色调图像的分类。

融合自注意力与残差神经网络的3D打印激光在机测量误差修正方法

激光测量能够实现高效地非接触实时测量,被广泛应用于3D打印领域,但激光测量容易受测量条件、外部环境等多种因素的干扰,这些因素错综复杂,难以量化分析。为此,结合直射式激光三角测量原理,在分析测量精度影响因素的基础上,提出了一种基于融合自注意力和残差神经网络的3D打印在机测量误差修正方法。首先,将影响测量精度的因素作为输入变量,采集激光测量值,得到样本数据集;然后利用残差网络提取出样本数据的深层次特征,并引入自注意力机制建立影响因素之间的联系,得到带权重的提取特征;再通过全连接网络对带权重特征进行学习,得到测量误差的预测值,基于该预测值完成对测量误差的修正。自主搭建了一套激光在机测量系统,采用红、绿、紫3种同材质彩色卡纸进行实验验证。结果表明,所提的方法与卷积神经网络和自注意力神经网络相比,均方误差、均方根误差和平均绝对误差均最小,稳定性最好,修正结果最接近真实值;对激光测量结果进行校正后,使其误差由原来的±28μm减小到±9μm以下,显著提高了3D打印激光在机测量的精度和稳定性。

基于注意力改进残差网络结构的表情识别方法

针对目前CNN在复杂图像中特征提取不充分的问题,提出一种基于注意力的改进残差网络的表情识别网络。设计一个双流网络在完成粗特征表情识别的同时检测关键点,并使用注意力机制增大关键点周边特征的权重。随后以残差网络为基础模型,改进残差块之间的跳跃连接方式,并将残差块中的普通卷积改进为分组卷积来强化特征提取能力。最后联合两个表情识别网络进行分类,实验结果验证了该模型方案有着更卓越的性能。

基于注意力机制的生成对抗网络图像超分辨重建

针对传统图像超分辨重建技术中存在的特征丢失和缺乏高频细节的问题,在生成对抗网络的基础上结合注意力机制对网络进行改进.生成网络中通过多尺度残差注意力模块,学习不同尺度的图像特征,增强对图像高频细节的学习;再通过整体注意力模块,进一步捕获更多的信息特征,提高网络对图像细节的还原能力,用于最终重建.判别网络中使用非对称卷积替代传统卷积,减少参数计算量;并引入自注意力机制更精确地获取图像全局信息,提高网络重建性能.实验结果表明,重建后图像和原始图像相比具有更多的高频纹理细节,与7种常见的图像超分辨方法相比,PSNR(Picture Signal to Noise Ratio)平均提升约2.43 dB,SSIM(Structural Similarity Image Measurement)平均提升约0.1.

基于坐标注意力关系网络的小样本轴承故障诊断

轴承故障诊断对保障机械设备正常运转具有重要价值,基于机器学习的轴承故障诊断是其中一类常用方法,主要包括Alexnet、Resnet-18、关系网络、基于通道注意力SENet的关系网络(SERN)以及基于混合注意力CBAM的关系网络(CBRN)等.在实际应用中,小样本、变工况等可能导致这些方法出现泛化性能差、精度降低及过拟合等问题.本文提出了一种基于坐标注意力关系网络的小样本轴承故障诊断方法 .在该方法中,坐标注意力关系网络通过坐标信息的嵌入和坐标注意力的生成来解决关系网络模型无法建立特征图的长距离依赖关系及故障的特征位置信息难以获得的问题,增强模型在目标区域对故障特征的表达,进而重构出更具判别性的故障样本特征.该方法还采用特征嵌入模块来生成样本的特征向量,并通过对已标记样本和未标记样本的特征向量的拼接来生成特征向量组.最后,该方法利用关系得分模块对特征向量组进行非线性距离度量和生成关系得分,判断未标记样本的类别、实现故障分类.模拟实验表明,相比已有方法,该方法具有更好的分类能力.

一种坐标通道注意力深度学习网络的军用飞机识别方法

战场态势瞬息万变,利用可见光图像对敌方用于军事行动的飞机类型进行有效区分,对提供军事作战信息具有重要意义。针对现有军用飞机识别方法存在小目标飞机和环境背景复杂导致的模型特征提取困难、数据样本数量不足导致的模型训练不充分的问题,提出一种坐标通道注意力(ConvNeXt-Coordinate Attention,ConvNeXt-CA)深度学习网络军用飞机目标识别方法。该方法在ConvNeXt网络可以保留小目标飞机特征的基础上,引入CA机制设计CA-Stage模块,提升网络对于背景和前景的区分能力;采用数据增强的方式扩充数据集,以及使用迁移学习的策略提高模型的泛化能力,训练得到具备最优超参数的ConvNeXt-CA网络。实验结果表明,与传统的军用飞机识别方法和其他深度学习模型相比,基于迁移学习的ConvNeXt-CA网络在预测准确率上有明显的提升,且具备较强的泛化能力。