基于准循环神经网络的中文命名实体识别

针对中文命名实体识别中长短期记忆网络识别模型缺乏并行性的问题,提出一种融合双向准循环神经网络(BQRNN)与条件随机场(CRF)的中文命名实体识别模型。通过BQRNN网络在序列维度和特征维度上并行获取序列化文本的内部特征,由CRF层选取最终的标签序列,在模型中添加Attention机制,增强BQRNN网络输出的特征信息。实验结果表明,该模型与BLSTM-CRF模型相比F1值提高了1.81%,缩短了约40%的运行时间。

基于准循环神经网络的语音增强方法

在基于深度学习的语音增强模型中,长短时记忆网络能较好地解决序列语音增强问题,但该模型在处理大规模含噪语音数据时存在训练速度缓慢的问题.为此,提出一种基于准循环神经网络的语音增强方法.利用门函数和记忆单元确保含噪语音序列上下文的相关性,门函数的计算不再依赖上一时刻的输出,且该模型在含噪语音序列的输入和门函数的计算中都引入矩阵的卷积运算,使模型可以同时处理多个时刻的语音序列信息,从而增强模型并行计算的能力.实验结果表明,与长短时记忆网络相比,该方法能在保证语音增强性能的前提下,有效提高网络模型的训练速度.

基于双向准循环神经网络和注意力机制的业务流程剩余时间预测方法

业务流程预测可以有效帮助企业进行流程控制和传递高质量服务,因此作为此类场景中的核心任务之一,业务流程剩余时间预测得到国内外学者的广泛关注.当前,在利用深度学习技术对业务流程剩余时间进行预测时,大都采用传统长短期记忆循环神经网络,然而,由于长短期记忆循环神经网络在处理序列数据的过程中缺乏并行性且建模能力有限,使得预测准确度还有进一步提升空间.因此,本文提出一种基于双向准循环神经网络和注意力机制的业务流程剩余时间预测方法.首先,该方法以双向准循环神经网络构建剩余时间预测模型,并在预测模型中融入注意力机制增强双向准循环神经网络输出的特征信息.其次,设计了一种基于不同长度轨迹前缀训练迭代策略,解决流程实例中不同长度轨迹前缀数量存在差异性的问题.最后,提出一种基于Word2vec的事件表示学习方法,实现对同一轨迹且经常出现事件的相似性向量表示,从而达到提高剩余时间预测准确度的目的.经在5个公开事件日志数据集上实验,本文方法与已有方法相比在预测准确度上平均提高近15%,模型训练时间平均缩短约26%.

一种用于实时语音增强的卷积准循环网络

为了在保证实时性的前提下,进一步提高深度神经网络的语音增强性能,提出一种用于实时语音增强的卷积准循环网络。该网络采用因果形式的输入,只利用含噪语音当前帧及过去帧的时频域特征,以满足实时语音增强方法的输入要求;基于准循环神经网络对含噪语音时间维度上的相关性进行建模,利用其对含噪语音序列的并行处理能力,提高网络模型的计算效率;同时使用卷积层改进准循环神经网络在隐层对含噪语音频率维度特征的计算方式,使网络模型能够更好地利用含噪语音相邻频带之间的局部相关性,提高网络模型的语音增强性能。实验结果表明,与基于准循环神经网络的语音增强方法相比,基于卷积准循环网络的语音增强方法不仅提高了语音增强性能,还降低了网络模型的参数量;与其他语音增强方法相比,卷积准循环网络在保证因果形式输入的前提下,有效地抑制了背景噪声对目标语音的干扰、降低了目标语音的失真程度,拥有更好的语音增强性能。最后,在不同计算平台上验证了基于卷积准循环网络的语音增强方法的实时性。

基于HHO-QRNN模型的大坝变形预测方法

为有效利用大坝位移数据集中的真实信息,提高预测模型精准度,缩减建模分析训练时间,提出基于卡尔曼滤波算法、完全噪声辅助聚合经验模态分解和准循环神经网络的大坝位移预测方法。首先,模型采用卡尔曼滤波算法对原始输入数据进行处理,提取行有效信息,消除观测噪声影响;其次,设计一种信号分解算法,从累计位移值提取出趋势项、周期项和随机项数据集,以分离不同诱发因素对于大坝位移量的影响;最后,提出一种基于改进哈里斯鹰算法优化准循环神经网络的位移预测算法,对不同数据集分别采用此算法建模预测,将预测结果对应叠加得到最终预测结果。以某水库大坝的历史位移观测数据集为例,将所提模型与其他传统预测模型进行对比分析,结果表明,该模型预测精度和训练速度等方面均有显著提升,验证了其可行性和先进性。

基于QRNN-CTC的中文语音识别声学模型

针对卷积神经网络(CNN)在语音识别中处理时序能力不足和循环神经网络(RNN)在语音识别中模型复杂度较高、训练慢的问题,提出一种新的基于准循环神经网络和连接时序主义(QRNN-CTC)的声学模型。该模型既降低了参数量,又保证了一定的时序间循环能力,利用CTC来实现输入序列和标签自动对齐,在训练时引入dropout防止过拟合。在Thchs-30数据集上的实验结果表明,QRNN-CTC比CNN-CTC相对错误率降低9.8%,最终词错误率为23.8%,训练时间为LSTM-CTC的一半。

基于轨迹聚类的业务流程剩余时间预测方法

现有的剩余时间预测方法仅关注对剩余时间预测任务起决定性作用的时间特征信息,并未考虑空间特征信息以及异质事件日志对预测任务的影响,导致预测准确度降低。提出基于轨迹聚类的剩余时间预测方法。将不同轨迹间的相似度作为距离度量,通过对事件日志中不同长度的轨迹进行聚类,以降低事件日志复杂度并细化结构。针对业务流程剩余时间预测任务,结合卷积神经网络与准循环神经网络,同时引入双向机制与注意力机制,设计基于注意力机制的卷积准循环神经网络模型,充分地捕获和增强对剩余时间预测任务有决定性影响的时间和空间特征信息,以提高业务流程中上下文事件之间的关联性,从而识别不同事件对业务流程剩余时间预测任务的重要程度。在BPIC_2012_A、BPIC_2012_O、BPIC_2012_W等事件日志数据集上的实验验证了该方法的有效性和可行性,结果表明,相比传统剩余时间预测方法,该方法的预测准确度平均提高约20%,有助于提升业务流程剩余时间的预测质量。

融合注意力机制的QRNN语音增强方法

为在保障网络训练速度的基础上进一步提高语音增强性能,提出一种融合注意力(Attention)机制的准循环神经网络(QRNN)语音增强方法。通过QRNN序列信息并行计算的特性保证网络的训练速度,将Attention机制重新赋予权重的含噪语音序列作为QRNN层的输入,使网络更加关注目标语音序列信息,以提高语音增强模型的性能。实验结果表明,融合注意力机制的QRNN与其他模型相比,在保证网络训练速度的基础上,通过Attention机制提高了对噪声的抑制能力,获得了更高质量和可懂度的增强语音。