基于自注意力卷积神经网络的吸烟行为识别方法

卷积神经网络因其强大的特征提取能力,已成为当前视觉行为识别任务中的主流方法。为应对公共场所吸烟行为有效监测预警,文章提出了一种基于自注意力卷积神经网络的吸烟行为识别方法。通过分析吸烟行为在图像和视频中的关键特征,设计了一种高效的卷积神经网络模型。该模型通过引入自注意力机制,能准确高效提取图像的关键特征,以实现对吸烟行为的准确识别。实验结果表明,所提出的方法在不同场景下均表现出良好的识别效果和鲁棒性,具有较高的实用价值。

基于点积自注意力卷积神经网络的歌声检测

传统的歌声检测过程往往包含了复杂的特征工程,而基于深度神经网络统一框架的算法则可以利用其强大的学习能力学习到特征,从而忽略特征工程。但是,这些学习到的特征通常得不到重要性区分,在网络中所占权重相同。针对这一问题,提出在卷积神经网络中嵌入点积自注意力模块的算法,该算法通过学习得到各个特征的注意力分布,调整注意力权重,使得卷积神经元在"观察"这些特征时能区分轻重,从而提升网络的整体性能。在实验部分,通过在两个公开数据集下测试,并和基准模型进行对比,准确率分别提升1.96%和1.76%,证明了该算法对提升歌声检测水平切实有效。

基于自注意力卷积神经网络的实体关系抽取

在自然语言处理解领域中,实体关系抽取作为信息抽取中的一个重要分支,旨在从自然文本中提取出两个实体之间的语义关系。大多数研究工作都是基于NLP系统的特征,特征提取工程和预处理过程十分冗杂,并且由LTP工具提取出来的特征会在模型中迭代而产生错误传播。为了避免对NLP系统的滥用,提出一种基于端到端的自注意力卷积神经网络模型来提取实体对之间的语义关系。实验结果表明,该方法在SemEval-2010 Task 8数据集上的F_(1)值提高了约1.3%。

融合注意力机制卷积神经网络的扬声器异常声分类

针对扬声器异常声非线性、非平稳且易受外部噪声干扰,以及因特征冗余而导致扬声器异常声识别率偏低的问题,提出一种基于变分模态分解(variational mode decomposition, VMD)和一维卷积循环注意力网络(1DCNN-BiLSTM-Attention)相结合的扬声器异常声分类方法。首先,采集不同类型异常声信号,采用VMD对异常声信号进行分解并提取扬声器异常声特征,构建标签化的初始数据;其次,将特征数据输入至1DCNN-BiLSTM网络中进行初始化特征提取,利用注意力机制自适应优化网络对异常声特征的学习权重,提升网络对特征鉴别能力,并优化Dropout抑制网络在训练过程中存在的过拟合问题,构成1DCNN-BiLSTM-Attention分类网络;最后,将所提方法应用于扬声器异常声分类中。实验结果表明:该方法可以有效提取到扬声器异常声中的关键特征,平均分类准确率为99.17%,与VGG16、RF和DCNN相比,其准确率分别提高了13.14%、0.56%,12.34%。

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

融合注意力机制和轻量级卷积神经网络的胸部CT影像分类方法研究

同一疾病类型的CT影像也会由于患者患病严重程度不同而呈现差异,现主要临床诊断方法依赖医生专业能力及过往经验,客观性有待增强,效率有待提高。针对以上问题,提出一个融合注意力机制的CT分类网络—并联轻量级CT分类卷积神经网络(PC-CTNet)。该网络主要由并联支路通道混洗(PCS)模块和深度高效跳跃连接(DES)模块组成。PCS模块采用双分支并联,融合了多尺度感受野的特征;DES模块则利用卷积和高效通道注意力提取有效的深层类间区分信息,并通过跳跃连接避免梯度消失。结果表明,PC-CTNet模型在包含5988张大小不一的CT数据集上分类准确率能达到98.46%,在包含194922张的开源数据集上分类准确率能达到98.75%。PC-CTNet的各项性能指标均接近现有的胸部CT分类网络,且其参数量和计算量约为0.32、75.58 M,分别为实验比较中胸部CT分类网络的10.17%和3.21%,拥有更高的参数效率和计算效率,能有效辅助医生诊断,提高诊断效率和客观性。

基于多尺度注意力机制的实例分割卷积神经网络

在Mask R-CNN实例分割模型的基础上提出一种新的深度学习方法MixedMask。该方法提出并应用两种有效的策略:(1)使用混合尺度的卷积核,提高网络对分辨率较低实例的提取能力;(2)在压缩激励网络的基础上进行改进,解决原网络中降低维度导致的通道信息丢失问题。在气球数据集和xBD数据集上进行测试,该算法分别达到了83.46%和58.92%的AP(IoU=50),相比Mask R-CNN模型,分别提升了1.3%和5.9%。

针对VVC色度预测的注意力卷积神经网络算法

针对多功能视频编码(Versatile Video Coding,VVC)标准中跨通道线性预测模型(Cross-Component Linear Model,CCLM)无法很好地拟合色度与亮度之间的非线性对应关系这一不足,提出了一种基于注意力机制卷积神经网络的VVC色度预测算法。该算法主要思想是在进行色度预测时,使用对应亮度块的信息与待预测色度块上方与左方的信息作为参考信息输入进卷积神经网络,利用注意力机制对参考信息中的亮度与色度间的内在联系进行分配权重后输入预测网络。实验结果表明,相较于VVC标准算法U分量和V分量的平均码率节省分别为0.64%和0.68%,有效提升了VVC编码性能。

基于注意力卷积神经网络的视觉里程计

传统的视觉里程计(visual odometry,VO)要求图像含有大量的纹理信息,且求解过程较为复杂。针对以上问题提出基于注意力卷积神经网络的视觉里程计,对相机进行端到端的位姿估计,利用注意力机制提高模型估计轨迹的精度。首先,使用注意力-卷积神经网络(convolutional neural networks,CNN)模块提取图像特征;然后,将特征输入到门控循环单元(gated recurrent unit,GRU)学习图像的时序连接性;最后,通过全连接层降维输出相机位姿。在KITTI数据集上完成实验,并与其他方法进行对比,结果表明卷积网络中加入注意力机制可以有效提高轨迹估计的精度,且误差低于其他视觉里程计算法。

基于注意力机制多尺度卷积神经网络的轴承故障诊断

提出了基于注意力机制的多尺度卷积神经网络(Multi-scale and Attentive Convolutional Neural Network,MACNN)进行轴承故障分类,该模型以一维Resnet18网络结构为主体,卷积模块采用残差模块和空洞卷积并行方式以达到扩大感受野、避免特征信息丢失的目的,同时利用注意力机制可以自动提取有用特征的能力,将模型提取特征作为输入送入注意力机制模块,进一步提高模型故障分类能力。此外,采用边界平衡生成对抗网络(Boundary Equilibrium Generative Adversarial Networks,BEGAN)模型对故障数据增强,改变不平衡数据集的比例,增加数据集样本数量,降低MACNN模型的过拟合,提高诊断的准确率。在帕德博恩轴承数据集(Paderborn University Dataset,PU)上验证MACNN模型,实验结果表明,该模型在特征提取和故障分类方面都表现出了良好的性能,优于当前主流模型。

基于卷积神经网络与通道和空间注意力机制的房颤预测模型研究

目的采用人工智能技术提出一种模型,以对房颤进行早期预防和诊断。方法提出一种基于卷积神经网络(convolutional neural network,CNN)与通道和空间注意力机制(convolutional block attention module,CBAM)的模型用于对房颤的诊断与预测。结果根据长期心房颤动数据库、MIT-BIH心房颤动数据库和MIT-BIH正常窦性心律数据库的数据,提出的模型在全盲的情况下总体准确率达94.2%。结论提出的模型满足了医学心电图解释的需要,为房颤的预测研究提供了新思路。

基于注意力机制的卷积神经网络机械钻速预测方法

传统机器学习方法在进行机械钻速(rate of penetration,ROP)预测时,受复杂特征提取和人为认知局限性的影响,难以满足现场预测精度要求。基于此,提出一种特征提取和回归预测相结合的机械钻速预测方法。首先,采用箱型图和独热编码对钻井实测数据进行预处理,清除异常数据并将离散特征连续化。其次,应用卷积神经网络(convolutional neural network,CNN)挖掘数据特征,并在网络中引入通道注意力机制(squeeze-and-excitation network,SENet),实现对CNN特征通道重要性程度的合理分配,建立SE-CNN机械钻速预测模型。最后,将SE-CNN模型与CNN模型进行对比分析,结果表明:SE-CNN模型的拟合优度提高了2.1%,平均绝对误差和均方根误差分别降低了1.1%和1.5%。SE-CNN模型具有更高的预测精度,可以用于现场机械钻速预测,为钻井提速提供科学参考。

融合注意力机制和卷积神经网络的电网暂态电压稳定评估及可解释性分析

提升复杂多变运行场景下电网稳定评估的时效性和准确性,提出一种融合注意力机制和卷积神经网络(convolutional neural network,CNN)的暂态电压稳定评估及可解释性分析方法。首先,采用卷积块注意力模块(convolutional block attention module,CB AM)提升传统CNN的特征捕获能力,考虑模型特性和网络结构设计CBAMCNN组合模块。其次,建立基于CBAM-CNN的电网暂态电压稳定评估模型,揭示运行工况多变场景下系统关键电气量和稳定状态之间的映射关系。最后,基于沙普利值加性解释(Shapley additive explanations,SHAP)理论提出数据驱动模型评估结果的可解释性分析框架,提炼影响样本稳定状态的主导特征,评估各输入特征量对模型输出结果的贡献程度。在典型受端电网仿真系统中验证了所提稳定评估方法的准确性和可解释性分析方法的有效性。

融合注意力机制和新型卷积神经网络的市政道路病害识别

环境和荷载协同作用导致的路面病害对道路使用性能和安全性能的影响日益突出。现有图像智能识别算法难以实现处理速度和计算量的平衡。针对道路病害快速准确实时识别的需求,对石家庄损伤较为严重的路面进行实地拍照,结合已有图片,采用数据增强技术构建了市政道路病害数据集,并且提出了一种基于MobileNetV3网络的轻量化道路病害识别网络模型GEM-MobileNetV3。该模型首先使用Ghost模块代替MobileNetV3网络基本单元中的1×1卷积;然后结合改进后的高效通道注意力机制(efficient channel attention,ECA)模块提取病害目标的重要特征;最后将网络浅层的ReLU激活函数替换为泛化能力更强的Mish激活函数,提高模型的整体性能。通过消融实验与对比实验,验证了新模型的有效性。实验结果表明,新模型准确率达到96.33%,其参数量与计算量较MobileNetV3模型分别降低了37.9%和36%。提出的新模型在保持较高识别准确率的同时有效降低了模型复杂度,为在低成本计算平台上实现高准确率实时识别提供了新途径。

融合文本图卷积神经网络与注意力机制的唐诗情感分析

针对目前唐诗情感分析任务的语义提取不充分、数据集不完善的问题,构建了一个全新的唐诗情感分类数据集且进一步细化了情感极性,提出了一种融合文本图卷积神经网络与注意力机制(text-graph convolutional neural networks with attention mechanism,AM-Text-GCN)的情感分类模型。模型首先结合双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)和注意力机制捕捉唐诗中的上下文信息和诗句间的语义特征,然后利用融入依存句法分析的2层文本图卷积神经网络在图卷积操作中聚合唐诗全局特征,最终输出唐诗的情感极性。结果表明,所提出模型的S F1值达了79.83%,相较于文本图神经网络的S F1值提高了5.46%,有效地提高了唐诗情感分析的准确性。该研究对于探索诗词情感在历史变迁中的作用具有重要意义和广泛的应用前景。

多尺度多任务注意力卷积神经网络滚动轴承故障诊断方法

针对振动信号时间尺度不一、故障特征分布差异及信息冗余等问题,提出一种多尺度多任务注意力卷积神经网络(MSTACNN)的滚动轴承故障诊断方法。首先,在参数共享单元构建多尺度卷积神经网络,提取多任务之间共享信息的多尺度通用特征;其次,利用多任务学习机制对故障类型、故障尺寸以及运行工况同时训练,规避单任务学习效率低下问题;然后,采用注意力机制对多尺度特征信息进行筛选,识别并保留有效特征;最后,设计了一种自适应损失权重算法,动态调整子任务的损失权重,控制不同任务的学习进度,实现了对轴承故障类型、故障尺寸以及运行工况同时识别的目标。在西储大学数据集和帕德博恩大学数据集分别对方法有效性进行验证,其中故障类型的识别准确率分别达到了99.95%和98.41%。实验结果表明,所提方法均展现出较高的识别准确率、良好的收敛速度和稳定性,具有较强的特征提取学习能力和泛化性能。

高效通道注意力结合卷积神经网络的近红外光谱分析模型研究

近红外光谱分析技术有无损、高效的特点,在各领域都有广泛应用。但传统分析模型在面对近红外光谱数据量激增时往往出现预测精度不高、泛化能力差等问题。为此,提出一种基于卷积神经网络(CNN)与高效通道注意力(ECA)模块相结合的近红外光谱分析模型(CNNECANet),该模型由8个一维卷积层、1个ECA模块、4个最大池化层、1个展平层、2个全连接层和1个参数优化器组成。ECA模块由1个全局平均池化、1个一维卷积层和1个Sigmoid激活函数组成。以啤酒、牛奶、柴油、谷物的近红外光谱公共数据为例,将CNNECANet与常用建模方法进行比较,CNNECANet比PLS的预测精度分别提高了30.3%、14.1%、29.5%、48.4%;CNNECANet比SVR的预测精度分别提高了33.5%、17.6%、39.0%、50.0%;CNNECANet比BP神经网络模型的预测精度分别提高了80.0%、29.0%、7.2%、42.7%。该模型具有更好的预测精度和鲁棒性,解决了传统近红外光谱建模算法容易出现过拟合、模型泛化性差等问题。

基于注意力引导多尺度降噪卷积神经网络的钢轨表面缺陷图像降噪

针对钢轨表面缺陷图像降噪依赖人工设置滤波参数和缺陷边缘模糊的问题,提出基于注意力引导多尺度降噪卷积神经网络的钢轨表面缺陷图像降噪方法。首先采用深层网络中的多尺度卷积自动提取含噪图像的特征,使其不依赖于人工设置滤波参数,并克服单尺度卷积特征不够精细导致缺陷边缘模糊的问题;其次利用跳跃连接融合网络深层特征和浅层特征,强化浅层特征影响,克服因网络加深导致浅层特征被忽略的问题,使特征更充分;然后利用注意力机制调节特征在空间不同位置的权重,筛选出能表征噪声的特征,获得噪声信息;最后通过重建模块去除含噪图像中的噪声,实现端到端的降噪。试验结果从定性和定量角度证明所提方法不仅降噪效果更好,且更有效地保留了缺陷边缘信息,为缺陷精确分割提供条件。

融合注意力卷积神经网络在皮肤镜分割中的应用研究进展

在自动皮肤损伤分析工作中,由于皮肤上的毛发和皮肤病变的形状和对比度等因素,分割是一项具有挑战性和关键的操作。相对于传统分割方法,深度学习将特征提取和特定任务决策无缝地集成在一起,更精确、高效地实现分割任务,有效减轻皮肤癌筛查的负担和成本。本文首先介绍了皮肤镜分割和深度学习模型的背景,引出深度学习在皮肤镜分割中的应用。其次介绍了卷积神经网络和注意力机制的算法模型,调研了自2022年1月以来的融合注意力卷积神经网络在皮肤镜分割中的应用,归纳总结了论文中的改进策略,分析了模型的优缺点,并结合皮肤镜常用数据集和图像分割的评价指标对模型进一步分析。最后对融合注意力卷积神经网络在皮肤镜分割中的应用进行了总结和展望。

基于图卷积和注意力神经网络的旅行商问题新解法

旅行商问题是一个经典的组合优化问题。为快速求解旅行商问题,设计了由图嵌入网络、图卷积神经网络、注意力神经网络和多层感知机组合而成的深度学习模型的学习分支规则,通过改进传统的分支定界算法提高算法性能。对15个城市的旅行商问题实例进行监督训练,并在SCIP求解器上分别测试10,15,20,25和30个城市的旅行商问题实例。发现:基于学习分支规则的分支定界算法的求解时间比基于传统分支规则的分支定界算法的求解时间分别快-0.0022 s,0.0178 s,1.7643 s,2.3074 s和2.0538 s。因此,基于图神经网络的分支变量选择对传统分支规则的改进是有效的,可以较好地泛化到训练规模更大的旅行商问题实例中。