注意力感知的边−节点交换图神经网络模型

提出了一种注意力感知的边-节点交换图神经网络(attention aware edge-node exchange graph neural network,AENN)模型,在图结构化数据表示框架下,使用边-节点切换卷积的图神经网络算法进行图编码,用于半监督分类和回归分析。AENN是一种通用的图编码框架,用于将图节点和边嵌入一个统一的潜在特征空间。具体地,基于原始无向图,不断切换边与节点的卷积,并在卷积过程中通过注意力机制分配不同邻居的权重,从而实现特征传播。在3个数据集上的实验研究表明,所提方法较已有方法在半监督分类和回归分析中具有明显的性能提升。

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

一种基于双分支注意力神经网络的皮肤癌检测框架

皮肤癌是一种主要的癌症,在过去几十年中快速增长,早期发现可以极大提高治愈率。近年来,基于皮肤镜图像利用深度学习模型(尤其是各种卷积神经网络)对皮肤癌进行识别和分类获得了广泛应用。但是与传统的图像识别分类不同,皮肤病检测任务存在数据不平衡、类间差异性小以及皮损面积占比少等方面的挑战。为此,本研究提出一种基于双分支注意力卷积神经网络(DACNN)皮肤癌分类框架。在数据预处理阶段,根据更细粒度的皮肤病类别,对数据集进行分解,降低数据不平衡程度。从网络结构上,上分支网络利用注意力残差学习(ARL)模块有效提取潜在的病变区域特征,接着利用损伤定位网络(LLN)模块定位病变区域。对其裁剪放大输入由ARL构成的下分支网络,进行局部细节的特征提取,然后结合上下分支网络的特征,进行有效的识别。最后,为了进一步缓解数据不平衡问题,在训练阶段中采用加权损失函数。在包含10015张皮肤镜图像数据集上,对所提出的DACNN模型与几种典型的皮肤病变检测框架进行了实验验证和比较。结果表明,DACNN皮肤癌变检测框架的Sensitivity、Accuracy和F1_score等性能指标分别达到了0.922、0.942和0.933,与已有的递归注意力卷积神经网络模型RACNN相比,以上3个指标分别提升了3.48%、2.95%和3.44%。总之,对于各类图像数不平衡,类间图像差异性小以及皮损面积占比少的皮肤镜图像而言,采用适当的类分解,以及双分支注意力神经网络结构首先对潜在的病变区域进行定位放大,然后进行局部细节的特征提取,能够极大的提高皮肤癌的检测准确度。

融合注意力机制和轻量级卷积神经网络的胸部CT影像分类方法研究

同一疾病类型的CT影像也会由于患者患病严重程度不同而呈现差异,现主要临床诊断方法依赖医生专业能力及过往经验,客观性有待增强,效率有待提高。针对以上问题,提出一个融合注意力机制的CT分类网络—并联轻量级CT分类卷积神经网络(PC-CTNet)。该网络主要由并联支路通道混洗(PCS)模块和深度高效跳跃连接(DES)模块组成。PCS模块采用双分支并联,融合了多尺度感受野的特征;DES模块则利用卷积和高效通道注意力提取有效的深层类间区分信息,并通过跳跃连接避免梯度消失。结果表明,PC-CTNet模型在包含5988张大小不一的CT数据集上分类准确率能达到98.46%,在包含194922张的开源数据集上分类准确率能达到98.75%。PC-CTNet的各项性能指标均接近现有的胸部CT分类网络,且其参数量和计算量约为0.32、75.58 M,分别为实验比较中胸部CT分类网络的10.17%和3.21%,拥有更高的参数效率和计算效率,能有效辅助医生诊断,提高诊断效率和客观性。

一种用于多域对话状态追踪的知识增强与自注意力引导的图神经网络

对话状态追踪是对话系统的重要组成部分,旨在从用户与系统的对话中跟踪用户意图,其通常表示为槽位-槽值对序列.近年来,深度神经网络模型在对话状态追踪问题上取得了较大进展.然而,现有模型在槽位相关性建模方面还存在可拓展性差与易引入噪声等问题.针对上述问题,本文提出了一种知识增强与自注意力引导的图神经网络KESA-GNN(Knowledge-Enhanced&Self-Attention Guided Graph Neural Network).首先,KESA-GNN通过外部知识嵌入增强槽的语义表征提升多头自注意力机制对槽位间相关性的辨别能力.其次,为了精确建模槽位间的诸如共指、共现等相关性,提出了一种自注意力引导的图神经网络建模槽位相关性.该网络采用多头注意力机制获得槽位间的注意力矩阵以及槽位表征,通过Max-N Relation算法获得注意力矩阵中强相关关系集,将稠密的注意力矩阵稀疏化,从而引导图神经网络中强相关槽位间的信息传播,降低无关槽位的噪声影响.最后,KESA-GNN采用门控融合机制过滤槽位多头注意力和图神经网络输出的槽位表征,从而获取更准确的槽位表征向量,进一步提升了KESA-GNN的鲁棒性.在多域对话数据集上的实验结果表明,KESA-GNN模型的性能优于最新的基线模型.

融合注意力机制卷积神经网络的扬声器异常声分类

针对扬声器异常声非线性、非平稳且易受外部噪声干扰,以及因特征冗余而导致扬声器异常声识别率偏低的问题,提出一种基于变分模态分解(variational mode decomposition, VMD)和一维卷积循环注意力网络(1DCNN-BiLSTM-Attention)相结合的扬声器异常声分类方法。首先,采集不同类型异常声信号,采用VMD对异常声信号进行分解并提取扬声器异常声特征,构建标签化的初始数据;其次,将特征数据输入至1DCNN-BiLSTM网络中进行初始化特征提取,利用注意力机制自适应优化网络对异常声特征的学习权重,提升网络对特征鉴别能力,并优化Dropout抑制网络在训练过程中存在的过拟合问题,构成1DCNN-BiLSTM-Attention分类网络;最后,将所提方法应用于扬声器异常声分类中。实验结果表明:该方法可以有效提取到扬声器异常声中的关键特征,平均分类准确率为99.17%,与VGG16、RF和DCNN相比,其准确率分别提高了13.14%、0.56%,12.34%。

结合多级注意力和多流图神经网络的多模态会话情绪识别

为了融合多模态信息、解决全局-局部特征建模问题并提高多模态会话情绪识别准确率,提出了结合多级注意力和多流图神经网络的多模态会话情绪识别模型(multimodal conversation emotion recognition combining multilevel attention and multi-stream graph neural networks,MCER-MAMGNN)。设计多级注意力机制提取语境化融合特征,用于增强各模态的表示能力,有效捕捉多模态信息之间的相关性和互补性,并减少噪声干扰;设计多流图神经网络以处理不同模态的信息,通过构建话语的异质性情绪依赖关系来捕捉局部特征,并使用双向Mogrifier LSTM网络捕捉全局特征(语境特征),以此更全面和深入地理解会话中的情绪;设计多流合并分类模块融合各模态流输出,通过自注意力机制进一步提取语境化融合情绪特征。实验结果表明,该模型在IEMOCAP和MOSEI数据集上取得了较好的性能。

基于自注意力和门控循环神经网络的雷达回波外推算法研究

为提升现有神经网络对雷达回波序列的时、空特征提取能力,建立外推性能更优的时、空序列预测模型,开展雷达回波外推算法改进研究。基于深圳市气象局与中国香港天文台共同建立的雷达回波数据集,在数据处理层面,通过改进对雷达回波图像序列归一化的方法,提升了常用的5种时、空序列预测模型对强回波的预测水平;在模型算法层面,将两个联立的自注意力结构引入ST-LSTM结构,组成新的循环门控单元,并将这些循环门控单元进行堆叠,建立ST-SARNN模型。选用CSI和POD作为精度评价指标,进行模型对比分析得到:(1)改进的归一化方法提升了近几年内常用的5种时、空序列预测模型对强回波的预测水平。(2)加入自注意力的ST-SARNN模型对雷达回波的预测性能显著优于ConvLSTM、PredRNN和MIM等模型。改进的归一化方法能改变样本数据分布,并在一定程度上提升模型外推性能;自注意力结构能够有效挖掘雷达回波序列的时、空特征,进而改进神经网络的外推表现。

用于视频压缩感知的特征域优化启发及多假设交叉注意力重构神经网络

现有视频压缩感知重建网络通常利用光流网络实现像素域运动估计与运动补偿。然而在重建过程中,光流网络的输入为质量较差的初始估计帧,导致获得的光流不准确,基于光流的像素域对齐与融合操作会造成噪声的累积,导致视频重建帧存在明显的人工效应,影响重建质量。基于特征域多通道信息对干扰噪声具有较强的鲁棒性,文中将特征域优化思想应用于视频压缩感知重构神经网络的设计中,提出了特征域优化启发及光流引导的多假设交叉注意力重构神经网络(FOFMCNet)。为避免光流中的噪声在图像变形时破坏图像结构的问题,文中在特征域设计了光流指导的多假设运动估计模块与基于交叉注意力的运动补偿模块,以实现特征域的帧间运动估计与运动补偿,从而更为充分地利用帧间相关性辅助非关键帧重构。为了在特征优化过程中加强有效信息的复用,提升网络学习能力并缓解梯度爆炸问题,文中设计了特征域优化启发U型网络(FOUNet),并作为FOFMCNet的子网络,通过多个FOUNet的级联,FOFMCNet在特征域实现非关键帧的优化与重建。实验结果表明,文中所提算法在经典低分辨率数据集(UCF-101和QCIF)和新的高分辨率数据集(REDS4)上的重构结果均优于现有的视频压缩感知算法。

融合自注意力与残差神经网络的3D打印激光在机测量误差修正方法

激光测量能够实现高效地非接触实时测量,被广泛应用于3D打印领域,但激光测量容易受测量条件、外部环境等多种因素的干扰,这些因素错综复杂,难以量化分析。为此,结合直射式激光三角测量原理,在分析测量精度影响因素的基础上,提出了一种基于融合自注意力和残差神经网络的3D打印在机测量误差修正方法。首先,将影响测量精度的因素作为输入变量,采集激光测量值,得到样本数据集;然后利用残差网络提取出样本数据的深层次特征,并引入自注意力机制建立影响因素之间的联系,得到带权重的提取特征;再通过全连接网络对带权重特征进行学习,得到测量误差的预测值,基于该预测值完成对测量误差的修正。自主搭建了一套激光在机测量系统,采用红、绿、紫3种同材质彩色卡纸进行实验验证。结果表明,所提的方法与卷积神经网络和自注意力神经网络相比,均方误差、均方根误差和平均绝对误差均最小,稳定性最好,修正结果最接近真实值;对激光测量结果进行校正后,使其误差由原来的±28μm减小到±9μm以下,显著提高了3D打印激光在机测量的精度和稳定性。

基于可伸缩型注意力机制的神经网络地震数据去噪方法

地震资料中的随机噪声会影响地震数据的质量,从而影响后续处理与解释的准确性。传统去噪方法受先验条件的约束,效率低下,神经网络具有强大的特征提取能力,能够弥补这些缺点。然而,由于传统神经网络卷积核的局限性,可能会导致全局信息丢失。为了克服这个缺点,本文在卷积神经网络(CNN)的基础上,添加了可伸缩型注意力机制。该机制在网络中同时呈现密集和稀疏两种类型的自注意力模块,这两种注意力模块交替使用可以显著增强神经网络的表现能力,扩大接受场。通过卷积层和注意力模块提取地震数据浅层特征和深层特征,结合CNN的局部建模能力和Transformer的全局建模能力,有利于提升网络的全局交互作用,增强其去除噪声和处理细节的能力。最后,合成和实际地震数据实验结果均表明,该方法相较于Unet和DnCNN,具有更好的噪声压制与保留地震数据有效信息的能力,可以大幅提高信噪比,为地震数据的处理和解释提供帮助。

基于残差神经网络和注意力机制的频谱感知方法

随着通信技术的发展,频谱感知技术已经成为解决频谱资源稀缺的重要解决手段之一。针对传统的频谱感知方法在低信噪比(Signal to Noise Ratio,SNR)下准确率较低的问题,提出一种基于残差神经网络和注意力机制相结合的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)频谱感知方法。将频谱感知问题转化为图像二分类任务。通过分析OFDM信号的循环自相关特征,将其灰度处理以生成循环自相关灰度图像。利用改进后的残差神经网络进行训练,提取这些灰度图像的深层特征,使用测试数据验证所得到的频谱感知模型。仿真实验结果表明,在低SNR条件下,所提方法表现出更出色的频谱感知性能,优于传统频谱感知技术。

基于注意力Seq2Seq神经网络的生物强化系统厌氧发酵菌体质量预测研究

生物强化厌氧发酵系统能够提高发酵效率和产物质量。然而,在生物强化甲烷厌氧发酵过程中,关键的生物参数难以实时在线测量。为了解决这一问题,提出了一种基于注意力融入Seq2Seq-LSTM模型的质量预测方法。通过编码器将时间序列数据输入,并引入注意力机制以增强对重要信息的关注,从而得到更新后的中间向量;在解码器中同样引入注意力机制,利用LSTM神经网络对当前时刻的中间向量和输入信息进行综合处理。同时,为了提高模型的稳定性,使用了Adamw梯度下降优化器进行训练。最后,将该方法与LSTM、AM-LSTM模型一同应用于甲烷发酵菌体质量预测并进行对比。实验结果表明,该模型拟合能力和预测准确性均优于其他两种模型,能够更好适用于甲烷发酵菌体质量的在线预测。

基于注意力机制优化组合神经网络的电力缺陷等级确定方法

为解决电力缺陷描述专业词汇较多分词准确率不佳以及单一神经网络模型自身存在不足的问题,提出了基于注意力机制优化组合神经网络的电力缺陷等级确定方法。该方法使用分布式字粒度向量对电力缺陷描述进行表示,使用由卷积神经网络和双向长短时记忆网络组成的卷积循环神经网络对电力缺陷描述的局部特征和序列特征进行特征提取,采用注意力机制对组合神经网络得到的语义特征进行权重分配,减少关键特征的丢失,进一步增强关键信息对分类结果的影响。以云南电网公司2014年—2019年间11万条缺陷描述数据作为实验对象,文中所提方法的Acc、MF_(1)值和WF_(1)值分别为0.9275、0.9112和0.9275,验证了该方法在电力缺陷等级确定中的有效性和可行性,为电网的智能化运行提供帮助。

融合多注意力深度神经网络的可解释光伏功率区间预测

现有光伏出力预测研究对复杂时空相关性的影响考虑不足,且深度学习自身的黑箱性质使其预测结果的可解释性差。为提高多时空尺度下光伏功率预测精度并增强模型可解释能力,提出融合时空注意力深度神经网络的光伏出力预测模型及其可解释性分析方法。首先,建立了时间-空间-特征的多维注意力机制,结合深度神经网络和分位数回归模型构建光伏区间预测模型,并以注意因子为导向指导模型优化。然后,提出了面向深度学习模型预测过程和预测结果的可解释性体系,基于神经元电导梯度法从模型结构上解释其预测机制,进一步结合注意力权重挖掘影响模型功率预测的核心时空特征。为验证解释结果的可靠性,通过沙普利加性原理量化考虑时间差异性的特征全局边际贡献,并结合实例样本溯因模型的预测依据。最后,在中国某省分布式光伏电站数据中进行验证,结果表明,所提模型相比传统预测模型具有更高的预测精度,可以挖掘光伏出力的时空规律性并合理解释模型预测机制。

基于注意力模块化神经网络的城市固废焚烧过程氮氧化物排放预测

氮氧化物(nitrogen oxides,NO_(x))浓度的实时精准检测是实现脱硝过程闭环控制的前提,对提高城市固废焚烧(municipal solid waste incineration,MSWI)过程脱硝效率具有重要意义。为此,提出了一种基于注意力模块化神经网络(attention modular neural network,AMNN)的MSWI过程NO_(x)排放预测方法。首先,模拟脑网络“分而治之”处理复杂任务的特性,利用模糊C均值(fuzzy C-means,FCM)聚类算法将待预测任务划分为多个子任务,从而降低预测任务复杂度;其次,针对各子任务,设计一种自组织模糊神经网络(self-organizing fuzzy neural network,SOFNN)构建子模型,通过神经元增删机制和二阶学习算法提高子模型的学习效率和学习精度;然后,提出了一种基于注意力机制的子模型整合策略,进一步提高预测模型的泛化性能;最后,通过基准实验Mackey-Glass时间序列预测和北京某MSWI厂实际数据验证了AMNN的可行性和有效性。

循环神经网络和注意力增强的门控图神经网络会话推荐模型

现有大部分基于图神经网络的会话推荐系统都可较好捕捉商品在会话图中的近邻上下文关系,但少有重点关注时序关系的系统.然而,这两种关系都对电商场景下的精准推荐具有重要作用.为此,文中基于双向长短期记忆网络和门控图神经网络,提出循环神经网络和注意力增强的门控图神经网络会话推荐模型,旨在实现不同网络结构的优势互补,充分学习用户在当前会话中表现的兴趣偏好.具体地,文中模型采用并行化框架结构,分别学习电商场景下用户会话点击流中商品间的近邻上下文特征和时序关系,再分别使用注意力机制进行去噪处理,最后基于门控机制实现这两种特征间的自适应融合.在3个真实数据集上的实验表明文中模型的性能较优.文中模型代码见https://github.com/usernameAI/RAGGNN.

基于残差神经网络、双向长短期记忆网络和注意力机制的肠鸣音检测方法研究

肠鸣音可以反映胃肠道的运动和健康状况,然而,传统的人工听诊方式存在主观性偏差且耗时耗力。为了更好地辅助医生对肠鸣音的诊断,提高肠鸣音检测的可靠性和高效性,该研究提出了一种结合残差神经网络(ResNet)、双向长短期记忆网络(BiLSTM)和注意力机制的深度神经网络模型。首先使用自主研发的多通道肠鸣音采集系统采集了大量带标签的临床数据,采用多尺度小波分解和重构方法对肠鸣音信号进行预处理,然后提取对数梅尔谱图特征送入网络进行训练,最后通过10折交叉验证和消融实验来评估模型的性能和验证其有效性。实验结果表明,该模型在精确率、召回率和F1分数方面分别达到了83%、76%和79%,能够有效地检测出肠鸣音片段并定位其起止时间,表现优于以往的算法。该算法不仅可以为医生在临床实践中提供辅助信息,还为肠鸣音的进一步分析和研究提供了技术支撑。

基于注意力机制循环神经网络的液体火箭发动机故障检测

针对液体火箭发动机主级段工作过程,采用多变量非线性时间序列分析理论,在两级注意力机制循环神经网络(Dual Stage Attention Based Recurrent Neural Networks,DA-RNN)的基础上,提出一种新型时序分析工具——卷积两级注意力机制循环神经网络(Convolutional Dual Stage Attention Based Recurrent Neural Networks,CDA-RNN),从而建立故障趋势预测模型。通过对预测残差进行自相关性分析并定义故障置信概率,提出了故障检测量化依据。利用发生微弱故障的热试车数据进行验证,结果表明,CDA-RNN模型对非稳态工作段微弱故障多参数检测具有良好鲁棒性,该方法十分有效,具有直接应用价值。

基于图注意力Transformer神经网络的信用卡欺诈检测模型

针对现有模型无法精准识别复杂多变的团伙诈骗模式的问题,提出一种新型实用的基于复杂交易图谱的信用卡反欺诈检测模型。首先,利用用户原始的交易信息构造关联交易图谱;随后,使用图自注意力Transformer神经网络模块直接从交易网络中挖掘团伙欺诈特征,无需构建繁冗的特征工程;最后,通过欺诈预测网络联合优化图谱中的拓扑模式和时序交易模式,实现对欺诈交易的高精度检测。在信用卡交易数据上的反欺诈实验结果表明,所提模型在全部评价指标上均优于7个对比的基线模型:在交易欺诈检测任务中,平均精度(AP)比基准图注意力神经网络(GAT)提升了20%,ROC曲线下方面积(AUC)平均提升了2.7%,验证了所提模型在信用卡欺诈交易检测中的有效性。