基于DTW的注意力机制BLSTM在线手写签名认证

为了提高在线手写签名认证的准确率,设计了一种挖掘签名稳定笔段用于认证的方法.本文提出对签名笔段计算累计差异值矩阵进行匹配;其次采用动态时间规划(DTW)算法计算笔段稳定度;在此基础上,通过以笔段的特征输入双向长短期记忆网络(BLSTM)加注意机制进行处理,从而得到每个用户的稳定签名段集合;最后提取该集合的特征进行分类.该方法在svc2004数据库上进行验证并得到了97.08%的认证率,并在40个用户上取得了1.16%的等误率.该结果表明本文方法能够提高认证精度,并且验证了BLSTM与稳定笔段结合方法的有效性.

基于CDAE和TCN/BLSTM模型的电能质量扰动分类方法

随着新型电力系统中电能质量扰动(PQDs)愈加复杂,为提升PQDs分类准确率并增强算法的噪声鲁棒性,将卷积降噪自编码器(CDAE)、时域卷积网络(TCN)与双向长短期记忆(BLSTM)相结合,提出一种基于CDAE和TCN/BLSTM模型的电能质量扰动分类方法。首先,通过CDAE以原始信号为目标重构含噪信号;然后,利用TCN和BLSTM并行挖掘扰动的抽象和时序特征;最后,特征合并层融合两种特征并完成分类。仿真结果表明,该方法可有效分类强噪声下的20类PQDs信号且平均准确率达99.23%,相比于其他主流的分类方法,所提方法具有更好的分类效果和抗噪性能。

基于BLSTM-CRF的自举式术语识别方法研究

[目的/意义]自动识别优质术语一直是多领域普遍关注的问题,其中一个突出困难是缺乏领域标注语料,为此本文提出一种基于BLSTM-CRF的自举式领域术语识别方法。[方法/过程]首先选取少量种子术语标注语料,训练BLSTM-CRF模型,识别候选术语;再基于术语质量特征构造筛选准则,从候选术语中挑出优质且新增的结果加入到新一轮训练的标注词汇集合,迭代标注训练,直到新增术语量小于某一阈值或迭代达到特定次数。本文还检测了模型迭代训练效率及在其他领域的推广性,将在计算机领域语料训练出的模型用于新兴的融合出版领域的技术术语识别。[局限]术语质量特征量化方法待综合多指标优化,模型改进学习机制未引入负例且迭代不易收敛等。[结果/结论]本文最终通过标注数量和标注语境丰富度实验表明了采用新增标注数据进行迭代的有效性。以50轮迭代训练后结果为例,在计算机测试语料上识别术语及其所有标注序列的F1值为0.43和0.59,新术语率为0.79,均优于基准BLSTM-CRF模型、BERT-BLSTM-CRF模型效果,证实了新方法启动成本低,领域适应性好,能够有效解决术语识别中训练语料缺乏的问题。在模型迁移效能评价中,抽样判断的术语识别平均正确率为87.7%,说明了迁移学习方法的应用潜力。

基于Inception-BLSTM的滚动轴承故障诊断方法研究

针对传统的滚动轴承故障诊断方法依赖大量先验知识以及容易人为引入误差等缺点,结合Inception模型的多尺度抽象特征提取能力与双向长短时记忆(BLSTM)神经网络序列建模的优势,提出一种基于Inception-BLSTM的滚动轴承故障诊断方法。首先,设计Inception模型从滚动轴承振动信号中提取出多尺度抽象特征。其次,设计BLSTM进一步学习特征信息的时间依赖性。最后,通过全连接层将特征信息映射到对应的故障模式并得出诊断结果。实验结果表明,该方法在多负载场景下的轴承故障识别精度达到了99.6%,具有良好的负载适应性以及抗干扰能力。

基于BLSTM-RNN的船舶轨迹修复方法

针对内河干线船舶AIS轨迹数缺失问题,提出一种基于双向长短时记忆网络(BLSTM-RNN)模型的船舶轨迹数据修复方法。通过利用船舶轨迹上下文信息及其他回传特征作为模型输入,构建两层的双向循环神经网络(RNN)模型。在模型输入上,采用相关性分析及序列自相关系数,确定船舶轨迹点相关变量及轨迹序列自相关滞后值;在模型结构上,以ACC率为指标对模型超参数值进行合理设置,以长江干线航道武汉段及重庆段船舶轨迹数据为样本,对模型进行实证验证。实验结果表明:与线性及其他机器学习方法相比BLSTM-RNN方法在精度上有一定提升;在武汉段顺直河段实验中,将修复误差控制在15 m量级内,远低于其他非线性方法的50 m量级;在重庆复杂河段内,可将修复误差控制在10 m量级;模型解决了传统方法在长距离丢失点上精度缺失的问题,在20个连续点丢失的情况上,将修复误差降低至50m量级。

基于CNN和BLSTM的连续手语识别

相对孤立词识别,连续手语识别对上下文的时间依赖性更强、语义更加复杂且时序分割困难,目前的研究在识别精度、背景抗干扰性和抗过拟合能力等方面仍存在不足。为此,提出一种基于CNN和BLSTM的连续手语识别方法,通过自适应视频采样,对输入视频数据进行预处理,去除无关背景的干扰;在CNN空间特征提取的基础上,利用BLSTM双向语义依赖挖掘能力,对连续手语视频进行时序建模,构建CTC损失函数解决时间序列标签对齐问题。该算法在CSL和ConGD数据集上分别取得了98.4%和62.5%的平均识别率。

基于混合DBNN-BLSTM模型的大词汇量连续语音识别

深度置信神经网络(DBNN)模型和双向长短时记忆神经网络模型(BLSTM)在单独进行特征提取时识别率不理想,长短时记忆单元(LSTM)与BLSTM模型可以更好解析语音数据特征.因此将DBNN模型和BLSTM模型相结合,提出一种大词汇量连续语音识别(LVCSR)的声学模型建立方法,并在Keras深度学习框架下进行实验.实验结果表明,使用改进的DBNNBLSTM模型进行大词汇量连续语音识别,识别精度有所提高,比BLSTM模型的语音识别率提高5%.

用于短文本分类的BLSTM_MLPCNN模型

文本表示和文本特征提取是自然语言处理的基础工作,直接影响文本分类的性能。文中提出了以字符级向量联合词向量作为输入的BLSTM_MLPCNN神经网络模型。该模型首先将卷积神经网络(CNN)作用于字符以获取字符级向量,并将字符级向量联合词向量作为预训练词嵌入向量,也即双向长短时记忆网(BLSTM)模型的输入;然后联合BLSTM模型的前向输出、词嵌入向量、后向输出构成文档特征图;最后利用多层感知器卷积神经网络(MLPCNN)进行特征提取。在相关数据集上的实验结果表明:相比于CNN,RNN以及CNN与RNN的组合模型,BLSTM_MLPCNN模型具有更优的分类性能。

基于BLSTM-CRF中文领域命名实体识别框架设计

为在不依赖特征工程的情况下提高中文领域命名实体识别性能,构建了BLSTM-CRF神经网络模型。首先利用CBOW模型对1998年1月至6月人民日报语料进行负采样递归训练,生成低维度稠密字向量表,以供查询需要;然后基于Boson命名实体语料,查询字向量表形成字向量,并利用Jieba分词获取语料中字的信息特征向量;最后组合字向量和字信息特征向量,输入到BLSTM-CRF深层神经网络中。实验结果证明,该模型面向中文领域命名实体能够较好的进行识别,F1值达到91.86%。

基于ResNet-BLSTM的端到端语音识别

基于深度学习的端到端语音识别模型中,由于模型的输入采用固定长度的语音帧,造成时域信息和部分高频信息损失进而导致识别率不高、鲁棒性差等问题。针对上述问题,提出了一种基于残差网络与双向长短时记忆网络相结合的模型,该模型采用语谱图作为输入,同时在残差网络中设计并行卷积层,提取不同尺度的特征,然后进行特征融合,最后采用连接时序分类方法进行分类,实现一个端到端的语音识别模型。实验结果表明,该模型在Aishell-1语音集上字错误率相较于传统端到端模型的WER下降2.52%,且鲁棒性较好。

基于BERT-BLSTM-CRF的政务领域命名实体识别方法

政务领域的命名实体通常是一些政务事项名,这类实体与开放域实体比较,具有长度较长、实体并列、别称等特点,目前还未见公开可用的训练数据集。构建了具有25176个句子的政务领域命名实体识别数据集,并提出一种基于BERT-BLSTM-CRF的神经网络识别模型,该模型在不依赖人工特征选择的情况下,使用BERT中文预训练模型,然后采用BLSTM-CRF识别实体。实验结果表明,该模型识别效果优于CRF,BLSTM-CRF,CNN-BLSTM-CRF,F1值达到92.23%。

基于改进的多层BLSTM的中文分词和标点预测

目前主流的序列标注问题是基于循环神经网络(RNN)实现的。针对RNN和序列标注问题进行研究,提出了一种改进型的多层双向长短时记忆(BLSTM)网络,该网络每层的BLSTM都有一次信息融合,输出包含更多的上下文信息。另外找到一种基于序列标注的可以并行执行中文分词和标点预测的联合任务方法。在公开的数据集上的实验结果表明,所提出的改进型的多层BLSTM网络模型性能优越,提升了中文分词和标点预测的分类精度;在需要完成中文分词和标点预测两项任务时,联合任务方法能够大幅地降低系统复杂度;新的模型及基于该模型的联合任务方法也可应用到其他序列标注任务中。

融合位置注意力机制和改进BLSTM的食品评论情感分析

为了对食品评价的情感倾向进行更加精确的分类,在进行情感语义分析时,卷积神经网络(convolutional neural networks,CNN)方法情感分析是近年来自然语言处理领域的研究热点。然而,目前现有的深度学习模型在对文本句子进行情感分析时缺少研究情感词位置对整个情感分析的重要性。在对电商商品评论数据进行情感语义分析时,CNN方法在提取目标的结构特征方面具有一定的优势,可以提取到多种局部特征,循环神经网络(recurrent neural networks,RNN)具有记忆功能,在序列特征提取方面具有一定的优势,双向长短时记忆网络(bidirectional long short-term memory,BLSTM)在提取远距离依赖序列语义特征方面可以得到很好的效果。在BLSTM的基础上,又引入基于食品领域的语义角色标注与位置相结合的位置注意力机制,来实现距离相关的序列语义特征提取,利用CNN实现序列语义特征的情感语义分类,从而构造出了一种基于BLSTM和位置注意力机制的食品评论情感分析模型。实验结果表明,设计的模型在情感分类方面取得了很好的分类效果,与之前的情感分类模型进行比较,在准确率结果上有所提高。

基于BLSTM-Attention神经网络模型的化工事故分类

化工事故新闻数据包含新闻内容,标题以及新闻来源等方面信息,新闻内容的文本对上下文具有较强的依赖性.为了更准确地提取文本特征并提高化工事故分类的准确性,该文提出了一种基于Attention机制的双向LSTM(BLSTM-Attention)神经网络模型对化工新闻文本进行特征提取并实现文本分类.BLSTM-Attention神经网络模型能够结合文本上下文语义信息,通过正向和反向的角度来提取事故新闻的文本特征;考虑到事故新闻中不同词对文本的贡献不大相同,加入Attention机制对不同词和句子分配不同权重.最后,将该文提出的分类方法与Naive-Bayes、CNN、RNN、BLSTM分类方法在相同的化工事故新闻数据集上进行实验对比.实验结果表明:该文提出的神经网络模型BLSTM-Attention神在化工数据集上的效果更优于其他分类方法模型.

基于CNN-BLSTM的化妆品违法违规行为分类模型

针对化妆品安全监管部门抽样检测所含违法违规行为自动识别且分类困难的问题,建立语义分类自动识别模型,辅助有关部门构建智能化管理体系,依靠数据实现科学决策及有效监管。本文分别使用中文词向量及字向量作为双路模型输入,采用CNN(convolutional neural network)网络模型训练字向量,BLSTM(bidirectional long short-term memory)网络模型训练词向量,并在BLSTM中引入位置注意力机制,构建基于CNNBLSTM的字词双维度化妆品违法违规行为分类模型。在染发类化妆品抽样检测数据集上进行的对比实验结果表明,CNN-BLSTM模型准确率比常用的几种深度神经网络模型均有明显提高,验证了其合理性和有效性。

基于深度BLSTM和分类元数据的自定义情感分类

在传统的情感分类任务中,存在无法有效捕捉文本深层特征的问题,同时也存在不考虑如用户信息和产品信息等分类元数据而直接进行粗糙建模的问题.针对第一个问题,本文首先通过深度BLSTM(DBLSTM)来识别上下文词义联系和获取文本深层特征;其次利用自注意力机制网络层捕获文本中重要的特征.针对第二个问题,本文融合分类元数据自定义分类器,该分类器利用上下文感知注意力为分类元数据配制特定参数,这使得分类器可以参考文本中存在的不同分类元数据来对网络层提取到的特征做出综合评价分类.在Yelp2013、Yelp2014、IMDB等三个数据集上测试,实验结果显示,本文构建的模型与现有的多个基线情感分类模型相比效果均有一定的提高.

基于变分模态分解和长短期记忆网络的输电线路故障诊断

针对输电线路短路故障高损伤和低故障识别率,提出一种基于变分模态分解样本熵和长短期记忆网络的输电线路故障预警方法,以提高故障预警的及时性和可靠性。首先,利用VMD进行三相电压信号分解得到一系列模态分量;然后,利用样本熵提取故障特征,提高故障特征相关性;最后,采用贝叶斯优化调参改进长短期记忆网络性能,优化输电线路故障诊断模型,提高模型收敛速度和预测精度。仿真结果表明,与Wavelet+BP、Wavelet+SVM、Wavelet+Whale+ELM相比,VMD+BLSTM具有最高的输电线路故障诊断率,迭代次数少、噪声鲁棒性更好。

基于BLSTM的命名实体识别方法

传统的命名实体识别方法直接依靠大量的人工特征和专门的领域知识,解决了监督学习语料不足的问题,但设计人工特征和获取领域知识的代价昂贵。针对该问题,提出一种基于BLSTM(Bidirectional Long Short-Term Memory)的神经网络结构的命名实体识别方法。该方法不再直接依赖于人工特征和领域知识,而是利用基于上下文的词向量和基于字的词向量,前者表达命名实体的上下文信息,后者表达构成命名实体的前缀、后缀和领域信息;同时,利用标注序列中标签之间的相关性对BLSTM的代价函数进行约束,并将领域知识嵌入模型的代价函数中,进一步增强模型的识别能力。实验表明,所提方法的识别效果优于传统方法。

基于CNN-BLSTM的食品舆情实体关系抽取模型研究

食品舆情实体关系抽取是构建食品舆情知识图谱的关键技术,也是当前信息抽取领域的重要研究课题。针对食品舆情中常出现的实体对多关系问题,在卷积神经网络(convolutional neural network,CNN)中引入基于位置感知的领域词语义注意力机制;在双向长短时记忆(bidirectional long short-term memory,BLSTM)网络中引入基于位置感知的语义角色注意力机制,构建基于CNN-BLSTM的食品舆情实体关系抽取模型。在食品舆情数据集上进行了对比实验,实验结果表明:基于CNN-BLSTM的食品舆情实体关系抽取模型在食品舆情数据集上准确率比常用的几种深度神经网络模型高出8.7%~13.94%,验证了模型的合理性和有效性。

基于BLSTM-CRF模型的安全漏洞领域命名实体识别

非结构化文本资源提供了大量与漏洞相关的信息,传统的特定领域实体识别依赖特征模板和领域知识来识别相关实体,其识别性能很大程度上依赖于人工选取的特征函数质量.如何利用机器挖掘文本隐含的特征,而不需要人工详细地制定领域术语的特征表达是一项具有挑战性的任务.该文针对安全漏洞领域,提出一种双向长短期记忆网络BLSTM与条件随机场CRF相结合的安全漏洞领域实体识别模型,并使用基于词典的方法对结果进行校正,F值可达到85%以上.实验表明,该方法在提高实体识别的准确率和召回率的同时,能够显著地降低人工选取特征的工作量.