融合双图卷积与门控线性单元的方面级情感分析模型

方面级情感分析旨在确定句子中给定方面的情感极性。现有的基于图神经网络的方面级情感分析存在以下2个方面的不足:忽略了不同类型的句法依存关系和语料库中的词共现信息,以及不能准确地控制情感信息流向给定方面。针对以上问题,提出融合双图卷积与门控线性单元(GLU)的方面级情感分析模型。该模型首先采用全局词汇图来编码语料库中的词共现信息,在词汇图和句法图上利用分类概括结构来区分各种词共现频率和不同类型的句法依存关系。然后分别在2个图上进行双层卷积,继而使用Bi Affine变换模块作为桥梁,在2个图卷积网络模块之间有效地交换相关特征,从而有效地融合句法信息和词汇信息。最后利用GLU控制情感信息流向给定方面,使模型可以更专注地分析与该方面相关的情感信息,避免不相关的情感信息影响对给定方面的情感分析结果,从而提高分析的准确性。实验结果表明,在Twitter、Laptop14、Restaurant15和Restaurant16数据集上,该模型的准确率分别达到74.82%、77.61%、82.29%和89.81%,F1值分别达到72.97%、73.52%、67.72%和73.37%,方面级情感分类效果明显优于其他基线模型。

基于压缩激励残差分组扩张卷积和密集线性门控Unet歌声分离方法

针对Unet频域歌声分离网络模型对语音时序信息的捕获困难以及底层特征利用率不高的问题,设计了一种相比于基线Unet网络参数量更小且歌声分离效果更好的卷积神经网络。首先设计了一种残差分组扩张卷积结合压缩激励模块,并将其引入到编码和解码阶段,该模块在参数量减少和增大网络感受野的同时自适应学习不同通道的重要特征,不但增强了有用特征,而且还抑制了无用特征。其次在传输层将线性门控单元采用密集相加连接来增强网络在特征传递过程中对时序特征的获取,并且使用扩张卷积来代替普通卷积以扩大网络的感受野。最后使用注意力门控机制来代替基线Unet中的跳跃连接以加强网络对底层特征的利用。在Ccmixter和MUSDB18数据集中进行实验,与基线网络相比,歌声分离的性能指标都有提升,并且其参数量大约只有基线网络的1/5。

基于对抗训练与Transformer的风力发电机故障分类方法

风力发电机故障分类的复杂性和多样性严重影响风能发电效率,传统的人工方法效率低下,准确率较低,已有的深度学习模型在真实环境中易受数据噪声干扰而表现不佳。为提升风力发电机故障分类模型在真实环境下的分类性能与鲁棒性,提出一种基于对抗训练与Transformer的故障分类方法。首先通过引入一维卷积与门控线性单元(GLU)增强注意力机制对局部特征的学习,保留易被忽略的局部信息,提升模型对于局部特征的敏感度。其次结合限制因子约束对抗样本,提高对抗样本产生的准确性。最后在消除错误样本的同时反馈生成过程,使其具备更好的抗干扰能力。实验结果表明,与5种常用的分类模型相比,所提模型分类性能平均提升7.76%,与真实结果之间的误差最小。局部增强的注意力机制和所提的对抗训练方法分别使模型的分类性能平均提升4.51%、4.95%。所提模型在10%~20%噪声环境中仍保持较好性能,增强了其在真实环境中的稳定性。该方法在提高分类准确率的同时使模型具备更强的泛化能力,对于提升风力发电机故障分类性能与鲁棒性具有重要意义。

利用门控网络构建用户动态兴趣的序列推荐模型

在推荐系统中,现有多数序列推荐方法将用户行为视为一个时间有序的序列进行用户兴趣建模,用户兴趣的动态变化导致模型难以从用户行为序列中捕捉准确的用户兴趣信息。针对该问题,同时考虑到项目间成对的共现模式应作为交互信息的补充,提出利用门控网络构建用户动态兴趣的序列推荐模型DCGN。使用门控线性单元捕获交互序列中的用户兴趣,利用带有注意力权重的门控循环网络学习用户的动态兴趣。在此基础上,对用户交互项目间的共现模式进行建模,与用户兴趣信息以及用户信息进行融合后输入深度神经网络,得到最终推荐结果。在ML100K、Amazon 5-Elect、Retailrocket 3个公开数据集上进行实验,使用精确率、归一化折损累积增益和命中率进行性能评估,结果表明,DCGN模型较NARM、GRU4Rec、NLR等主流序列推荐模型性能更优,其归一化折损增益和精确率在Retailrocket数据集上平均提升1.9%和1.22%,在Amazon 5-Elect数据集上平均提升0.82%和1.05%,在ML100K数据集上平均提升0.36%和0.31%。

双关系预测与特征融合的实体关系抽取模型

现有分阶段解码的实体关系抽取模型仍存在着阶段间特征融合不充分的问题,会增大曝光偏差对抽取性能的影响。为此,提出一种双关系预测和特征融合的实体关系抽取模型(entity relation extraction model with dual relation prediction and feature fusion,DRPFF),该模型使用预训练的基于Transformer的双向编码表示模型(bidirectional encoder representation from transformers,BERT)对文本进行编码,并设计两阶段的双关系预测结构来减少抽取过程中错误三元组的生成。在阶段间通过门控线性单元(gated linear unit,GLU)和条件层规范化(conditional layer normalization,CLN)组合的结构来更好地融合实体之间的特征。在NYT和WebNLG这2个公开数据集上的试验结果表明,该模型相较于基线方法取得了更好的效果。

基于门控卷积网络与CTC的端到端语音识别

针对传统声学模型存在模型组件复杂且不能统一进行训练,数据必须进行预对齐的问题,提出基于一维门控卷积神经网络与CTC的中文端到端语音识别模型。通过堆叠多层一维卷积神经网络进行声学建模,提取包含上下文信息的高层抽象特征,融合门控线性单元减少梯度弥散,利用CTC算法实现以汉字字符作为建模基元的端到端训练和解码。在公开数据集上的实验结果表明,与基线模型相比,该模型语音识别性能有明显提升,字错误率降低了3.3%以上。

基于门控CNN-CRF的中文命名实体识别

在已有的命名实体识别研究的基础上,提出了一种新型的混合神经网络模型--门控CNNCRF用于命名实体识别。该模型结合了门控线性单元,卷积神经网络,以及条件随机场。作为对比,同时还介绍了其他较为成熟的命名实体识别模型,例如Bi-LSTM-CRF。分别对以上模型在中文数据集上进行了命名实体识别测试。实验表明,所有结果的准确率、召回率和F1值都接近命名实体识别的最新水平。其中门控CNN-CRF模型在中文数据集SIGHAN2006上进行命名实体识别时,准确率、召回率、F1值分别达到了91.05%、89.93%、和90.49%,取得了较好的效果。

基于时空图卷积神经网络的离港航班延误预测

对于日益频发的机场航班延误,精准的航班延误预测是最重要的防范措施之一。通过谱图卷积将机场网络从不规则的图结构转换为规则的网络结构,利用图卷积神经网络(GCN)和门控线性单元(GLU)捕获网络中的时空相关性并组成时空卷积块,提出可以预测离港航班延误状况的时空图卷积神经网络(STGCN)。遴选美国51座枢纽机场构建机场网络,并预测未来一段时间内的机场离港准点率以检验STGCN用于预测航班延误的可行性。结果表明:当预测窗口为1天时,STGCN预测结果的平均绝对误差(MAE)相对于历史平均(HA)法、长短期记忆循环神经网络(LSTM)、堆栈自编码器(SAEs)分别下降了18.19%、10.45%、6.24%;当预测窗口为2天时,MAE分别下降了9.93%、3.96%、4.37%;当预测窗口为3天时,MAE分别下降了7.02%、2.47%、9.20%。实例证明STGCN相比传统模型能够显著提升航班延误预测的精度,并为机场制定延误决策提供参考指导。

基于并行卷积循环网络的单通道语音增强系统

为提升语音增强系统的收敛速度和泛化性,降低对训练数据的要求,提出一种基于并行卷积循环网络的语音增强系统。在卷积循环网络的基础上,使用归一化门控线性单元提升性能和收敛速度;使用并行循环层结构同时处理原始语音特征和经过编码器处理后的语音特征,通过后处理模块处理并行结构的输出。在THCHS30和LibriSpeech语音库及NOISEX92和PNL100 NS噪声库上的实验结果表明,与多个目前最先进的语音增强系统相比,该方法获得了最高36.92%的性能提升和62.36%的收敛速度提升。

基于DCNN和GLU的武器领域实体关系抽取方法

武器领域的非结构化文本数据通常十分复杂,单句内可能存在“一武器与多个武器相关联”或“两武器之间存在多种关系”等情况,为此提出基于膨胀卷积神经网络和门控线性单元的实体关系抽取方法以处理该类型数据中存在的关系重叠问题。该方法将拼接了词向量和位置向量的句子编码向量传入带有门控机制的膨胀卷积神经网络模型,引入可以快速抽取句内命名实体特征信息的自注意力机制,通过分层次的序列标注方式识别出句中全部实体以及每个主实体对应的所有关系和客实体,进而生成武器领域实体关系三元组。实验结果显示,该方法在自行标注的武器领域数据集上的F1值达81.1%,具备一定的实体关系抽取能力,在不同重叠类型下的F1值均高于78%,能够解决非结构化数据的关系重叠问题,同时在公开数据集NYT上也有良好的表现。

基于图神经网络的交通流量预测方法研究

随着城市化进程的加速,智能交通系统的需求也日益增长,其中预测交通流量尤为关键。为了更准确地预测交通流量,文章提出一种新的方法。该方法首先利用图生成模块来生成一个图结构,然后结合时间卷积、图卷积和门控线性单元构建的时空块,深入捕获了交通流的时空特征。为了评估文章所提方法的准确性和实用性,文章选择PEMS数据集进行实验。实验结果证明了文章所提模型在性能上优于对比方法。

LAC-DGLU:基于CNN和注意力机制的命名实体识别模型

对文本进行分词和词嵌入通常是中文命名实体识别的第一步,但中文的词与词之间没有明确的分界符,专业词及生僻词等未收录词(Out of Vocabulary,OOV)严重干扰了词向量的计算,基于词向量嵌入的模型性能极易受到分词效果的影响。同时现有模型大多使用循环神经网络,计算速度较慢,很难达到工业应用的要求。针对上述问题,构建了一个基于注意力机制和卷积神经网络的命名实体识别模型,即LAC-DGLU。针对分词依赖的问题,提出了一种基于局部注意力卷积(Local Attention Convolution,LAC)的字嵌入算法,减轻了模型对分词效果的依赖。针对计算速度较慢的问题,使用了一种带门结构的卷积神经网络,即膨胀门控线性单元(Dilated Gated Linear Unit,DGLU),提高了模型的计算速度。在多个数据集上的实验结果显示,该模型相比现有最优模型F1值提高了0.2%~2%,训练速度可以达到现有最优模型的1.4~1.9倍。

用于单音音乐音高估计的密集扩张卷积残差网络

针对单音音乐提出一种密集扩张卷积残差网络(Dense Dilated Convolution Residual Network, DDCRN)音高估计算法.探讨了密集扩张卷积、残差模块两种不同的通道数设置对网络参数量和性能的影响.分别在iKala、MIR-1K和MDB-stem-synth数据集上训练提出的各种残差网络.实验结果表明,密集扩张卷积残差网络在参数量较小的情况下获得了最佳性能.

基于混合神经网络的实体与关系联合抽取模型

针对实体关系联合抽取任务中的重叠实体关系识别问题,提出了一种混合神经网络模型(MNN-RE)。MNN-RE使用膨胀卷积神经网络结合门控线性单元作为输入共享编码层,增强了实体与关系之间关联度。采用自注意力机制结合指针网络的标注策略提取主实体。基于贪心策略,对每个预定义的关系都进行关系存在的预测并抽取目标实体,以此得到完整三元组。实验结果表明,该模型在中文的实体与关系联合抽取任务的表现比经典的联合抽取模型Noveltagging及Multi-head模型要好。

基于复值掩蔽与扩张卷积的实时语音增强方法

传统的语音增强算法通常是对含噪语音的幅值谱进行处理,并利用原始含噪语音的相位对增强后的语音进行重构。为改善现有算法的语音质量和实时性,本文提出一种基于复值掩蔽的扩张卷积网络对含噪语音进行实时增强处理。实验结果表明,本文提出的方法在保证算法实时性的同时可以显著提高语音的可懂度与质量。相比基线模型RNNoise,PESQ和STOI分别提升了0.32和0.09。

面向交通流预测的双分支时空图卷积神经网络

针对目前交通流预测中未充分考虑到交通流量与密度、交通流量与速度之间的关联性特征信息,以及忽略多尺度时间特征的问题,提出了一种面向交通流预测的双分支时空图卷积神经网络。首先,依据交通数据的周期性,将交通数据划分为近期与周期两种时间粒度的数据输入;其次,在每个输入分支中,先通过关联性门控线性单元(AGLU)提取流量与密度、流量与速度之间的关联性特征信息;然后,通过图卷积层和多尺度时间卷积层提取关联性特征中的空间与时间上下文信息,并采用预测卷积层输出近期、周期双分支预测结果;最后,通过门控机制融合预测结果,从而实现交通流量的准确预测。实验结果表明,所提模型在交通流预测准确性与稳定性方面整体优于其他模型。

基于多语义信息融合的事件检测模型

[目的]通过融合多类语义信息,提高事件检测任务准确性。[方法]首先,利用Bi-LSTM模型编码非关系类语义信息;其次,基于关系类语义信息生成关系图,利用多尺度卷积神经网络捕获邻接矩阵蕴含的空间信息并与词向量进行融合;最后,构建Gated-GCN模型动态聚合并更新相邻词向量间的关系类语义信息,增强词向量的表征能力。[结果]基于ACE05基准数据集,与现有主流事件检测模型进行对比实验,所提模型的F1值达到76.3%,相较于最优的基准模型提升1.2个百分点。[局限]研究基于基准数据集,需要在一般的数据集上进行模型验证。[结论]融合多类语义信息能够有效提升事件检测性能。