基于分割注意力机制残差网络的城市区域客流量预测

客流量预测是城市交通资源和公共安全智能化管理的重要依据。为了综合考虑城市乘客人群流动自身的既有周期性、趋势性和突发性,以及与城市物理和社会空间的耦合关系,在时空残差网络的基础上,本文提出了基于深度时空数据的分割注意力机制残差网络的城市细粒度客流量预测模型。首先以不同时空间隔的区域客流量历史数据为基础,引入分割注意力机制模块,为各模态的数据分配不同的权重,动态捕捉更高相关性的抽象数据特征;在时空数据的基础上,引入城市功能区属性作为联合特征,结合节假日、气候等外部特征,形成deep&wide网络结构,有效记忆重要特征对客流量变化的贡献。基于北京出租车数据的区域客流量对比实验表明,相比于传统的深度时空残差网络和其他经典机器学习模型,引入了分割注意力机制和城市功能区特征的预测模型能够更好地提取数据多元化的特征,预测精度明显优于其他同类别方法。

基于注意力机制和深度残差网络的滚动轴承故障诊断

针对现有的滚动轴承诊断模型特征提取能力不足、诊断准确率不高的问题,提出一种注意力机制与一维深度残差网络相结合的故障诊断方法。该方法首先通过引入残差结构来防止深度网络性能退化,然后结合注意力机制来提高网络的特征提取能力,最后使用原始的滚动轴承振动信号训练故障特征分类器。针对变工况故障诊断,本文采用小样本迁移学习框架。在两个开源实验平台上的结果表明,该方法能够有效地提高滚动轴承故障诊断的准确率,为实际应用提供一定的理论参考。

基于注意力机制残差神经网络的近红外芒果种类定性建模方法

现代光谱检测技术的飞速发展与深度学习紧密相关,作为一种端到端的模型,深度神经网络可以从光谱中得到更多信息,从而提升模型鲁棒性。为探究近红外光谱结合深度学习对芒果种类定性预测的可行性,提出一种基于卷积注意力机制(CBAM)的一维残差神经网络(1D-AD-ResNet-18)模型。为降低光谱中冗余信息的干扰,在传统一维残差神经网络(1D-ResNet-18)中嵌入CBAM卷积注意力模块,该模块可重点关注光谱局部有用信息;为避免梯度消失、过拟合情况发生,使用解决网络“退化”问题的ResNet-18。对于186个芒果样本,采用70%的样本进行训练,30%的样本进行测试,采用准确度(Accuracy)、精确率(Precision)、召回率(Recall)、F1值(F1-score)、宏观平均值(Macro-average)以及加权平均值(Weighted-average)作为模型评价指标。建立传统1D-ResNet-18、SNV-SVM和PCA-KNN三种对比模型,与上述三种方法作对比,所建立的1D-AD-ResNet-18模型取得最优预测结果,四种定性分析模型的准确率分别为96.42%,80.35%,76.78%和67.85%。结果表明,1D-AD-ResNet-18模型实现了对芒果种类的准确识别与分类,为近红外光谱定性分析芒果种类提供了新思路。

基于残差神经网络和注意力机制的频谱感知方法

随着通信技术的发展,频谱感知技术已经成为解决频谱资源稀缺的重要解决手段之一。针对传统的频谱感知方法在低信噪比(Signal to Noise Ratio,SNR)下准确率较低的问题,提出一种基于残差神经网络和注意力机制相结合的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)频谱感知方法。将频谱感知问题转化为图像二分类任务。通过分析OFDM信号的循环自相关特征,将其灰度处理以生成循环自相关灰度图像。利用改进后的残差神经网络进行训练,提取这些灰度图像的深层特征,使用测试数据验证所得到的频谱感知模型。仿真实验结果表明,在低SNR条件下,所提方法表现出更出色的频谱感知性能,优于传统频谱感知技术。

基于深度残差网络和注意力机制的特殊车牌识别

为解决现有车牌识别算法在面对旋转倾斜车牌以及双行车牌图像时识别精度偏低的问题,提出一种基于深度残差网络和注意力机制的特殊车牌识别算法。优化深度残差网络结构,使模型更好提取低分辨率车牌图像的特征;取消对特征图平均池化操作,在保留图像全局特征的前提下,将多维特征化为特征序列;引入注意力机制对特征序列并行解码,加快模型推理速度,提升特殊车牌的识别精度。实验结果表明,与现有的文字识别模型CRNN、DAN、ASTER对比,在公开车牌数据集CCPD上取得了更高的准确率,验证了模型的有效性。

ARU-Net:基于残差注意力机制的胸腔积液图像分割模型

目的/意义解决传统胸腔积液分割方法严重依赖先验知识、流程烦琐、耗时费力、性能不佳等问题,提高效率和准确率。方法/过程根据胸部CT图像的积液特征,提出一种基于残差注意力机制的胸腔积液分割模型ARU-Net。以U-Net模型为主干网络,在编码和解码阶段引入残差注意力单元,有效获取图像上下文信息,提高对特征的利用率。结果/结论在测试集上的DICE相似系数达到88.76%,与U-Net和ResU-Net相比在分割完整性和准确性方面具有显著优势,能够满足临床需求。

基于残差神经网络、双向长短期记忆网络和注意力机制的肠鸣音检测方法研究

肠鸣音可以反映胃肠道的运动和健康状况,然而,传统的人工听诊方式存在主观性偏差且耗时耗力。为了更好地辅助医生对肠鸣音的诊断,提高肠鸣音检测的可靠性和高效性,该研究提出了一种结合残差神经网络(ResNet)、双向长短期记忆网络(BiLSTM)和注意力机制的深度神经网络模型。首先使用自主研发的多通道肠鸣音采集系统采集了大量带标签的临床数据,采用多尺度小波分解和重构方法对肠鸣音信号进行预处理,然后提取对数梅尔谱图特征送入网络进行训练,最后通过10折交叉验证和消融实验来评估模型的性能和验证其有效性。实验结果表明,该模型在精确率、召回率和F1分数方面分别达到了83%、76%和79%,能够有效地检测出肠鸣音片段并定位其起止时间,表现优于以往的算法。该算法不仅可以为医生在临床实践中提供辅助信息,还为肠鸣音的进一步分析和研究提供了技术支撑。

融合残差网络与注意力机制的草莓检测

针对草莓果实因受到自然光光照、枝叶遮挡、果实间存在遮挡等因素,较难实现成熟草莓果实识别的现状,提出融合深度残差网络与注意力机制的成熟草莓目标检测算法。引用信息表达能力更强的深度残差网络Resnet50对SSD目标检测算法模型基础骨干网络进行替换,对经过残差网络结构和新增卷积特征提取层得到信息特征提取图进行通道和空间方向的注意力机制方法处理,建立能准确实现成熟草莓目标检测的RC-SSD目标检测模型。试验结果表明,本文的RC-SSD算法模型对比Faster R-CNN、YOLOv3、SSD-VGG模型拥有较少的参数量,平均精度均值mAP分别提升46.05%、10.16%、5.77%,其中成熟草莓的识别精度达到99.04%。对比轻量化网络结构模型SSD-Mobilenetv2,RC-SSD算法模型在FPS相对于轻量化网络模型降低25帧的情况下,精度提升20.20%,FPS在GPU运行设备上达到86帧。

基于注意力机制的残差网络入侵检测模型

针对现有网络入侵检测技术存在的数据不平衡导致检测准确率不足、实时性差和泛化性能低等问题,对基于ResNet(深度残差网络)的入侵检测模型进行改进。在ResNet的每个Dense(全连接)层后添加自注意力层,形成残差连接,旨在通过捕捉长距离依赖关系增强特征表示能力,同时提升网络的学习能力、灵活性和解释性。使用CIC-IDS-2017数据集对新模型进行验证,结果显示,模型的准确率为97.56%,真正例率为97.46%,误报率为4.00%,损失函数值快速收敛至0.044。本文模型与其他文献模型相比,真正例率平均提升约5.62百分点,准确率平均提升约3.94百分点。

基于注意力机制与残差胶囊网络的滚动轴承故障诊断

针对传统深度神经网络在风电机组滚动轴承变工况运行条件下特征学习能力不足、诊断效果不佳的问题,提出了一种通道注意力机制(Channel Attention,CA)与残差胶囊网络(Capsule Residual Network,CPRN)组合的故障诊断模型CA-CRPN,以实现变工况下滚动轴承故障的高性能诊断。首先,对振动信号进行连续小波变换生成对应的时频图,经矩阵化重构后作为训练样本,经过通道注意力模块为不同特征分配权重,削弱冗余特征对识别结果的影响,然后输入由卷积层、残差块和胶囊层堆叠搭建的CPRN中,并采取权值共享的仿射变换矩阵替换全连接胶囊层以减少参数量、提高训练速度,最终输出诊断结果。分别用CWRU轴承数据集与实验台模拟数据进行实验。结果表明:CA-CPRN模型在变工况下的平均诊断准确率分别达到97.63%和98.23%,相比其他模型具有更好的泛化能力;在噪声情况下,2个数据集上的诊断准确率均优于其他模型,平均准确率分别达到99.09%和96.32%,证明了模型在抗噪方面的优越性。

融合注意力机制和边缘预测的医学图像分割网络算法

针对现有的卷积神经网络在分割医学图像时容易出现异常值且存在边缘分割精度低等问题,引入基于注意力机制的边缘预测模块,利用激活函数的变分表示与测地活动轮廓模型,提出一种融合注意力机制和边缘预测的医学图像分割网络,并设计端到端的网络训练算法。在两个公共数据集上的实验结果表明,与其他分割方法相比,该文的方法能够提取更多的边缘信息,分割结果也更精确。

基于SENet注意力机制和深度残差网络的腹部动脉分割

在医学诊断中,血管疾病的研究与治疗仍是影响人类健康的主要因素。由于人体腹部血管复杂且构造因人而异,这就对图像分割的研究以及临床应用带来了极大困难。所以,通过图像处理和深度学习等方法准确清晰地获取病人腹部动脉及其分支血管,在临床和术前诊断中发挥了重要作用。本文主要对腹部血管的大小、灰度、构造等基础医学知识进行学习,并深入研究了现有关于血管分割算法的优缺点。为解决深度卷积神经网络性能退化的问题,增强对目标信息的关注度并对不必要的特征信息进行抑制,本文提出一种基于squeeze-and-excitation networks(SENet)的注意力机制和深度残差网络的血管分割算法。并使用12例腹部CT数据进行实验验证:血管分割准确率可达90.48%,灵敏度、Dice、VOE、精确率分别为0.899 5、0.878 3、-0.199 8、0.910 4。因此,相比于传统方法,本实验所提方法具有更好的分割性能。

基于多头注意力机制的残差网络深度学习推荐模型

深度学习由于其强大的特征表达能力,在推荐研究领域的应用逐渐广泛。DIN(Deep Interest Network)是一种基于注意力机制和用户兴趣进行推荐的深度学习模型,针对其存在的特征训练完备性较低、推荐精度有待提高的问题,提出一种基于DIN改进的融合多头注意力模块与残差网络的深度学习推荐模型:MHAR-DIN(Multi-Head Attention Residual Deep Interest Network)。利用多头注意力模块基于用户历史行为进行注意力的打分,充分考虑用户的兴趣偏好,并引入残差网络结构将特征越过训练直接接入全连接器,解决过深网络难以训练的问题。在公开数据集MovieLens上与经典深度学习推荐模型的对比实验表明,所提MHAR-DIN模型具有一定有效性和可行性。

结合生成对抗网络与混合注意力机制的街景图像语义分割

街景图像语义分割是自动驾驶领域的主要研究任务之一,对于路径规划和行人安全保障具有重要意义。目前,街景图像语义分割主要存在小目标物体分割不精确、模型容易出现过拟合的问题。为此,提出一种结合生成对抗网络与混合注意力机制的街景图像语义分割模型。具体而言,提出一种多尺度混合注意力模块,用于增强上下文语义信息、提高特征表征能力和对多尺度目标的适应性。同时,为了降低过拟合,引入BN层,结合DCGAN网络构建生成对抗网络分割模型,通过判别损失和分割损失共同约束训练,以增强模型稳定性、提高分割精度。实验结果表明,与DeepLabV3+相比,所提模型在Cityscapes数据集上的分割精度提高了2.4个百分点,mIoU值达到73.4%。

基于注意力机制辅助的空谱联合残差网络的高光谱图像分类

卷积神经网络(convolutional neural network,CNN)是高光谱图像分类中一种常用的方法,有着较好的分类表现。然而,CNN不可避免地会提取出一些冗余特征,这对高光谱图像分类的准确率造成干扰。此外,高光谱图像分类还面临着同谱异物、同物异谱问题。为了解决以上这些问题,提出了一种基于注意力机制辅助空谱联合残差网络的高光谱图像分类方法。一方面,通过使用注意力机制辅助的3-D、2-D残差网络,同时从光谱维度和空间维度提取空谱联合特征,克服同谱异物、同物异谱问题;另一方面,引入通道注意力机制和空间注意力机制,有效降低了冗余空谱特征的干扰。在2种高光谱数据集上的实验结果表明,相比同类对比算法,所提出的方法具有更优越的分类性能。

基于注意力机制的改进残差网络火焰温度场重建

基于卷积神经网络重建火焰温度场的方法近年来已被广泛采用,但是传统卷积神经网络模型随着其网络层数的增加极易出现过拟合或者模型退化的现象,导致重建误差较大。本文提出一种改进的方法,使用ResNet18网络进行火焰温度场重建,并引入注意力机制和局部重要性池化,优化提取内容,实现已知信息的充分利用,减少重建误差。实验结果表明,同时引入局部重要性池化和注意力机制后,温度场重建的平均相对误差为0.13%,最大相对误差为0.75%;相较于初始ResNet18网络,平均相对误差减少了31.58%,最大相对误差减少了34.21%。通过消融实验验证了两种因素对重建精度的影响,结果表明:同时加入两个改进模块后的温度场重建精度要优于加入单个改进模块后的精度,局部重要性池化模块对精度提升的作用更大。

融合结构化卷积和双重注意力机制的轻量级眼底图像分割网络

眼底血管图像的自动分割对于多种眼科疾病的计算机辅助诊断具有重要作用.针对血管的尺度差异和图像噪声导致眼底血管图像分割困难、使用单一尺度卷积运算的深度学习方法获取的特征感受野有限,以及现有的方法复杂度过高的问题,提出一个融合结构化卷积和双重注意力机制的轻量级眼底图像分割网络.通过编码器增强、减少下采样次数和特征深度的编码-解码网络设计,实现参数量只有0.63M的轻量化网络.在编码阶段,提出一种结构化卷积方法,有效地避免了网络训练过拟合,提高了网络捕获差异化血管特征的能力;在解码阶段,采用基于空间和通道的双重注意力机制,使网络更加关注血管特征的上下文和几何空间信息,抑制病变等噪声的干扰.在DRIVE,CHASE_DB1和STARE数据集上进行实验的结果表明,所提网络图像分割的准确率分别为96.92%,97.57%和97.51%,灵敏度分别为83.68%,84.99%和84.87%,受试者曲线下的面积(AUC)分别为98.67%,99.05%和99.02%;并通过在DRIVE和STARE数据集上的交叉训练,验证了该网络的泛化能力.

联合注意力机制和多尺度特征的图像语义分割网络

针对卷积神经网络在图像语义分割时存在部分语义信息丢失、边界定位精度较低等问题,提出联合注意力机制和多尺度特征的卷积神经网络.首先基于注意力机制将网络提取到的多尺度特征进行加权融合,然后采用扩张卷积和全局平均池化聚合多尺度目标信息,最后采用边界精细粒度特征提取模块对分割边界进行优化.在多尺度PASCAL VOC2012和高分辨率Cityscapes数据集上的实验结果表明,所提网络的分割效果显著优于骨干网络ResNet-101,平均交并比分别提高12.2个百分点和9.3个百分点.

基于注意力机制的残差网络超分辨率重建方法

针对现有方法在图像超分辨率重建中高频信息遗漏的问题,提出一种基于注意力机制的多层嵌套残差网络超分辨率重建方法,对不同的频次信息采用不同的特征提取方案。利用跨越残差网络结构将前端的特征信息利用恒等映射连接直接传送到后端的注意力机制模块,添加注意力机制的多层嵌套残差网络来捕捉原始图像中隐含的特征信息,通过深度并行残差网络结构融合图像特征信息。实验结果表明,改进后算法可有效提高图像超分辨率重建精度。

基于坐标注意力机制和残差网络的苹果外观品质检测

随着机器视觉技术的发展,利用卷积神经网络实现苹果品质分级已成为较优的应用技术。本研究以苹果外观品质特征为对象,提出了一种基于残差神经网络和坐标注意力机制的苹果品质检测方法。实验结果显示,引入坐标注意力机制后的Res Net18网络模型平均准确率达到91.4%,损失值为0.1。该方法在各项性能上优于ResNet18、34、50网络模型,能够有效实现苹果品质分级。