基于自注意力的门控卷积神经网络的要素类情感分类研究

[目的/意义]近年来,将注意力机制与LSTM模型结合的方法常被用于要素类情感分类任务,但是该方法存在参数多、训练时间长的弊端。门控卷积神经网络模型不仅结构简单、参数少、运行时间短,还能分别提取要素特征和情感特征、具有较高的分类精度,但是该模型采用的要素类嵌入是预定义的、与上下文无关。对要素类情感分类任务来说,要素类的质量对预测文本在要素类上情感极性的准确率的重要性不言而喻。[方法/过程]本文关联要素类提取和要素类情感分类任务,提出融合自注意力机制下的要素类特征的门控卷积神经网络模型,通过结合自注意力机制的神经网络提取出基于上下文优化的要素类嵌入,然后将优化后的要素类向量和文本词向量通过门控卷积神经网络进行训练。[结果/结论]在2014年至2016年的SemEval数据集上的实验结果表明,本文提出的模型能有效改善要素类提取的效果和提高要素类情感分类的分类准确率。

基于轻量级卷积门控循环神经网络的语声增强方法

针对在基于深度学习语声增强方法中因采用因果式的网络输入导致语声增强性能下降的问题,提出了一种基于轻量级卷积门控循环神经网络的语声增强方法。门控循环神经网络能够建模语声信号的时间相关性,但是其全连接结构忽略了语声信号的时频结构特征,并且参数数量庞大,不利于网络的训练。对此,该文采用卷积核替代门控循环神经网络中的全连接结构,在对语声信号时间相关性建模的同时保留了语声信号的时频结构特征,同时降低了网络的参数数量。为充分利用先前帧的特征信息,该网络单元当前时刻的输入融合了上一时刻的输入与输出。针对网络训练过程中容易产生过拟合的问题,该文采用了线性门控机制来控制信息的传输,这缓解了网络训练过程中的过拟合问题,提高了网络的语声增强性能。实验结果表明,该文所提出的网络结构在增强后的语声感知质量、语声短时客观可懂度、分段信噪比等指标上均优于传统的网络结构。

基于深度卷积门控神经网络的高比例新能源接入配电网故障分类研究

提出一种基于深度卷积门控神经网络的高比例新能源接入配电网故障分类方法。首先,通过小波包变换特征提取配电网零序电流形成时频能量谱,将序列归一化后作为模型的输入数据;其次,将深度卷积门控神经网络应用于配电网故障分类中,融合卷积神经网络和门控循环网络提取新能源配电网故障特征数据,引入注意力机制提升网络训练效率和准确度,通过Softmax分类器进行故障分类,形成高比例新能源接入配电网故障分类模型,映射输入零序电流和输出故障类别之间的关系;最后,经过仿真结果表明,所提方法对不同故障位置和不同过渡电阻具有分类速度快、准确率高的优点,在高比例新能源接入的配电网中应用前景良好。

不平衡数据下基于改进门控卷积网络的轴承故障诊断

深度学习在滚动轴承故障诊断中具有广泛的应用,然而,现实中的监测数据往往具有不平衡性,这就会对模型的诊断性能产生很大影响。因此,提出一种基于改进门控卷积神经网络(Improved Gated Convolutional Neural Network,IGCNN)的故障诊断方法,用于数据不平衡条件下的故障诊断。首先,提出改进门控卷积层以增强特征提取能力,通过批量归一化技术提高模型的泛化能力。然后,使用标签分布感知边界(Label-distribution-aware Margin,LDAM)损失函数提高模型对少数类的敏感度,减小数据不平衡对模型的影响。将所提算法应用在两组故障轴承数据上,在数据不平衡率为20:1的情况下,所提算法仍然可达到92.71%和94.47%的故障识别率,而对比的其他主流深度学习模型在该情况下只有60%~72%的准确率,表明所提方法在数据集严重不平衡情况下具有很强的诊断能力和鲁棒性。

基于卷积门控循环神经网络的刀具磨损状态监测

针对刀具磨损状态在线监测需求,提出一种基于卷积门控循环神经网络的刀具磨损状态在线监测方法。综合卷积神经网络和门控循环神经网络的优点,构建了卷积门控循环神经网络;以切削力为输入信号,通过小波变换滤除噪声;利用卷积神经网络提取表征刀具磨损状态关键信息的高维特征;通过门控循环神经单元使模型在时间尺度上的累积效应得到充分表达,体现磨损的时序特性。实验表明,在有限的刀具磨损数据样本条件下,通过卷积门控循环神经网络进行刀具磨损状态监测具有较好的效果,其准确率达到97%。

基于混合卷积神经网络算法的风场预测研究

在农业生产中,准确的风速预报对农作物安全防范有着至关重要的作用。针对云南地区的高海拔和多山,基于卷积神经网络框架,提出了卷积长短时序分析神经网络-卷积门控循环单元神经网络(ConvLSTM-ConvGRU)混合风速预测模型。通过神经网络框架的改进,有效的提高了模型对风场空间特征的提取。利用美国国家环境预报中心(NCEP)提供的再分析风速数据集,使用ConvLSTM、ConvGRU、ConvLSTM-ConvGRU混合模型分别对云南地区的风速进行。实验结果表明:ConvLSTM-ConvGRU混合风速预测模型能够有效对云南地区风场进行预测,相较于另外两个模型提高了预测准确度。

基于多分支门控残差卷积神经网络的短期电力负荷预测

短期电力负荷预测是电力部门进行电网规划和运行调度的重要工作之一,针对负荷数据的时序性特征,为提升电力负荷预测精度,建立了一种基于多分支门控残差卷积神经网络(residualgatedconvolutional neural network,RGCNN)的短期电力负荷预测模型。该模型首先采用多分支门控残差卷积神经网络对历史负荷的周周期特征、日周期特征、近邻特征进行深度特征提取;其次为增加模型的非线性拟合能力,采用注意力机制对权重进一步合理分配;最后通过归一化指数函数计算后输出负荷预测结果。使用2016年某电力竞赛数据进行实验,通过与4种常用模型对比,该模型预测结果的平均绝对百分误差(MAPE)评价指标下降了0.02%~0.70%,验证了该模型提高负荷预测精度的有效性。

基于多重注意力卷积神经网络双向门控循环单元的机械故障诊断方法研究

为解决传统机械故障诊断方法需要人工提取特征的不足,提出一种基于多重注意力卷积神经网络双向门控循环单元(multiple attention-convolutional neural networks-bidirectional gated recurrent unit,MA-CNN-BiGRU)的端到端的故障诊断方法。首先将原始时域数据输入卷积神经网络(convolutional meural networks,CNN)进行初步特征提取并降维,然后将结果重组输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU),可以有效地解决BiGRU对于过长序列数据处理困难的问题。采用美国凯斯西储大学开源轴承数据集进行训练,确定了最佳卷积层数和最佳样本长度约减比例分别为2和1/8。同时,通过在CNN和BiGRU中分别加入卷积注意力模块(convolutional block attention module,CBAM)和序列注意力模块(sequence attention module,SAM),进一步加强了模型对于关键信息的提取能力。最后实测柴油机故障振动信号试验表明:MA-CNN-BiGRU模型可以实现端到端的故障诊断,与变分模态分解(variational mode decomposition,VMD)核模糊C均值聚类算法(VMD-kernel fuzzy C-means clustering,VMD-KFCM)、VMD-反向传播神经网络(back propagation neural network,BPNN)和一维CNN等方法进行对比,MA-CNN-BiGRU模型的故障诊断性能更优。

基于门控双卷积神经网络的机动车发动机故障检测

采集并构建一个包含正常和故障机动车发动机的声信号数据集,提出基于门控双卷积神经网络的机动车发动机故障检测方法.在门控卷积神经网络基础上设计门控双卷积神经网络.对比不同方法的实验结果可知:支持向量机(support vector machine,简称SVM)方法的检测准确率最低,该文方法的检测准确率最高;对声信号进行加噪和调音时,该文方法表现出好的鲁棒性.

基于混合神经网络的实体和事件联合抽取方法

实体和事件抽取旨在从文本中识别出实体和事件信息并以结构化形式予以呈现。现有工作通常将实体抽取和事件抽取作为两个单独任务,忽略了这两个任务之间的紧密关系。实际上,事件和实体密切相关,实体往往在事件中充当参与者。该文提出了一种混合神经网络模型,同时对实体和事件进行抽取,挖掘两者之间的依赖关系。模型采用双向LSTM识别实体,并将在双向LSTM中获得的实体上下文信息进一步传递到结合了自注意力和门控卷积的神经网络来抽取事件。在英文ACE 2005语料库上的实验结果证明了该文方法优于目前最好的基准系统。

基于残差网络和门控卷积网络的语音识别研究

由于传统循环神经网络具有复杂的结构,需要大量的数据才能在连续语音识别中进行正确训练,并且训练需要耗费大量的时间,对硬件性能要求很大。针对以上问题,提出了基于残差网络和门控卷积神经网络的算法,并结合联结时序分类算法,构建端到端中文语音识别模型。该模型将语谱图作为输入,通过残差网络提取高层抽象特征,然后通过堆叠门控卷积神经网络捕获有效的长时间记忆,摆脱了传统循环神经网络对上下文相关性建模的依赖,加快了模型的训练速度。对残差网络进行了优化,并在门控卷积神经网络中加入了前馈神经网络,极大提高了模型的性能。实验结果表明,在Aishell-1中文数据集上,该模型的字错误率降低至11.43%;并且在-5 dB低信噪比环境下,字错误率达到了19.77%。

基于时序生成对抗网络的居民用户非侵入式负荷分解

现有的非侵入式负荷分解算法往往需要大量电器设备级的负荷数据才能保证分解精度,但由于用户对隐私性的考虑以及安装成本过高等问题,很难获取这些数据。因此,构建一种能深度挖掘电力负荷数据时序特性和电器相关性的时序生成对抗网络。利用降维网络对所有电器有功功率序列组成的高维向量进行降维以降低计算的复杂度,通过复原网络将结果还原为高维向量。基于电器运行状态和深度学习的非侵入式分解方法,运用卷积神经网络-双向门控循环单元构建状态复杂电器的负荷分解回归模型,对状态简单电器利用深度神经网络构建负荷识别分类模型。通过对比其他数据生成方法,以及改变典型公开数据集中生成数据比例所得的负荷分解结果验证了所提方法的有效性。

基于多头注意力门控卷积网络的特定目标情感分析

在特定目标情感分析中,现有的循环神经网络模型存在训练时间长且获取目标相关信息困难的问题。针对该问题,利用注意力机制,提出一种带有位置嵌入的多头注意力门控卷积网络(PE-MAGCN)。首先,模型使用多头注意力层获取目标词与上下文词之间的信息,并额外加入文本和目标词的相对位置嵌入信息,然后采用带有门控机制的卷积神经网络提取与目标词有关的情感特征,最后通过Softmax分类器来识别情感极性倾向。使用SemEval 2014数据集与目前主要用于目标情感识别的模型进行实验对比,结果表明本模型的准确率和F1值较高,可以较好地完成特定目标情感分析任务。

基于门控网络的军事装备控制指令语音识别研究

军事装备无感控制是军事装备智能化建设进程中的一个重要研究方向,其中语音控制技术作为无人装备无感控制手段的关键组成部分,受到了越来越多的重视。为完成军事装备语音控制任务,设计一种基于门控网络的中文语音识别网络,并构建军事装备控制指令数据集,实现基于控制指令语音识别技术的军事装备控制。在传统卷积神经网络的结构基础上引入深度残差门控卷积网络,提高识别网络的准确性,同时通过多途径构建军事装备控制指令数据集,设计一套针对军事装备无感控制的语音识别方案。实验结果表明,该语音识别网络军事语音控制指令识别率可达87%,外接语言模型后可达92%,语音识别准确率高、误差率低,可完成军事装备的语音控制任务。

融合多尺度特征与上下文信息的语音增强方法

在语音增强中,常用自编码器结构自动提取特征,但这样得到的特征单一或者冗余且不能较好地捕获语音信号的上下文依赖关系。因此,提出一种融合多尺度特征和上下文信息的语音增强方法MSF-CI。首先,利用多尺度卷积块提取语音信号的多尺度特征,解决特征单一问题;其次,利用注意力机制关注所提取特征的空间与通道关键信息,解决特征冗余问题;最后,使用门控卷积循环神经网络学习语音信号中跨度较长的上下文依赖关系,并通过门控线性单元提高该网络的非线性学习能力,从而提高模型的泛化性。实验结果表明,MSF-CI在低信噪比和不同噪声环境下增强语音信号的语音感知质量、短时客观可懂度等多个指标上均优于GRN、DPT-FSNet、U-Net等同类的单通道语音增强模型。在信噪比为0 dB时,该方法的平均语音感知质量和平均语音客观可懂度达到1.49和0.761。在构建的安多藏语语料库上验证模型的泛化性,平均语音感知质量和平均语音客观可懂度相对于噪声提高了20.7%和11.3%,MSF-CI模型不仅可以提升语音的质量与可理解度,而且具有较优的泛化性。

基于多传感器信息融合和CNN-BIGRU-Attention模型的液压防水阀故障诊断方法

在建筑工程领域,尤其是在工程搅拌设备中,涉及到复杂液压工作介质,液压防水阀往往会出现不同程度的故障。此外,恶劣的工作环境和复杂的噪声背景使得对液压防水阀的故障进行诊断变得困难。为了解决这一难题,提出了一种基于多传感器信息融合和卷积神经网络-双向门控循环单元-自注意力机制(CNN-BIGRU-Attention)模型的防水阀故障诊断方法。首先,考虑到单一传感器振动信号难以充分表达故障特征,该方法使用了3个传感器采集含噪声的振动信号,并进行了必要的预处理;其次,提取了信号的16个时域特征、5个频域特征以及3个时频域特征,并利用熵权法进行了特征融合,达到了增强特征的目的;然后,将融合的多维特征集输入到CNN-BIGRU-Attention模型中进行了特征识别;最后,利用实际的液压防水阀故障诊断实验,验证了该方法的有效性。研究结果表明:采用多传感器提取的特征更为全面,信息融合有助于捕捉更完整的隐藏数据特征,从而显著提高诊断的准确率;相较于其他特征识别方法,采用CNN-BIGRU-Attention模型的液压防水阀故障诊断准确率可分别提高6.7%、4.6%和14.2%,达到了96.86%,证明了该方法的有效性。该方法将先进的机器学习技术与实际工程应用相结合,为建筑工程问题提供了一种新颖、有效的解决方案。

基于紫外-可见光谱法的工业废水CNN-GRU分类模型研究

工业废水分类是水污染防治和水资源管理的前提和基础,相较于生活污水,工业废水的分类研究相对滞后。水体化学需氧量(COD)是衡量水体质量的核心指标,针对现有工业废水COD分类算法中预测精度较低的问题,提出基于门控循环单元(GRU)的卷积神经网络(CNN)混合模型。该模型首先将紫外-可见光谱法测得的工业废水COD数据进行高斯滤波去噪,然后把去噪后的光谱数据输入CNN模型进行特征提取,最后通过GRU神经网络实现工业废水COD分类。实验结果显示,CNN-GRU分类模型经过200次训练后达到收敛,分类精度达到99.5%,与长短期记忆方法、GRU方法、CNN-LSTM方法相比,该混合模型的分类精度具有显著优势。

融合GCNN与GRU的异常实体识别方法

当前的命名实体识别(NER)模型能够识别位于正确位置且符合语法表达的实体,却无法指出句子中的实体缺失与位于错误位置的实体,无法满足信息处理与归档分析中对于检测文本实体信息完整全面的要求。通过考察异常实体的识别依赖上下文相互联系语义特征的具体特点,提出以基于预训练语言模型的命名实体识别模型架构为基础,融合门控卷积神经网络(GCNN)与门控循环网络(GRU)的实体位置异常与实体缺失异常检测方法(NER-EAD)及其训练数据构造方法。其中门控卷积网络提取特定字符上下文特征联系以更好识别实体异常。融合卷积神经网络结构和门控循环神经网络的语义特征输出可全面提取正常实体与异常实体的特征,实现了正常、异常实体识别结果同时输出。实验表明NER-EAD在正常实体、实体位置异常和实体缺失异常的识别平均F1分别达到90.56%、85.56%和80.92%,超越了已有命名实体识别模型架构。最后通过消融实验证明了GCNN与GRU融合网络的语义特征提取能力。

基于模糊聚类和CNN-BIGRU的轨道电路故障预测

针对轨道电路稳态环境下故障诊断时效性不足的问题,提出一种基于Gath-Geva(GG)模糊聚类对轨道电路退化状态进行划分,并利用卷积神经网络(convolutional neural network,简称CNN)和双向门控循环单元(bi-directional gated recurrent unit,简称BIGRU)进行轨道电路故障预测的方法。首先,通过集中监测设备获取ZPW-2000轨道电路各类故障发生前一定时间内的正常工作数据;其次,通过核主成分分析进行特征降维和GG模糊聚类对轨道电路性能退化状态进行阶段划分,识别不同的退化状态;最后,利用CNN-BIGRU混合神经网络挖掘轨道电路不同故障类型数据特征,对轨道电路退化状态所对应的故障类型进行预测。实验结果表明,该算法可以精确划分轨道电路退化状态并实现故障预测,CNN-BIGRU预测模型分类精确度可达97.62%,运行时间仅为13.18 s,能够为轨道电路的多模式健康状态识别提供一种有效的方法。

基于CNN-BiGRU的学术文本分类研究

针对传统的文本分类模型存在特征提取能力不足和分类准确率较低等问题,提出一种基于卷积神经网络和双向门控循环单元相结合(CNN-BiGRU)的文本分类方法。首先,以图书情报领域相关主题文本摘要为数据源,通过Word2vec进行文本向量化;其次,通过CNN获得输入文本信息的局部特征,并使用BiGRU保留文本中的顺序相关性;然后,选择softmax分类器输出分类结果;最后,与传统的机器学习分类方法和单一的深度神经网络模型分类方法进行对比实验。结果表明,在数据量大的情况下,文中提出的CNN-BiGRU分类模型具有更好的分类效果,其准确率、召回率和F1值均达到了95%以上,能够在一定程度上解决学术文本“信息过载”等问题。