双向长短时记忆模型训练中的空间平滑正则化方法研究

双向长短时记忆模型(BLSTM)由于其强大的时间序列建模能力,以及良好的训练稳定性,已经成为语音识别领域主流的声学模型结构。但是该模型结构拥有更大计算量以及参数数量,因此在神经网络训练的过程当中很容易过拟合,进而无法获得理想的识别效果。在实际应用中,通常会使用一些技巧来缓解过拟合问题,例如在待优化的目标函数中加入L2正则项就是常用的方法之一。该文提出一种空间平滑的方法,把BLSTM模型激活值的向量重组成一个2维图,通过滤波变换得到它的空间信息,并将平滑该空间信息作为辅助优化目标,与传统的损失函数一起,作为优化神经网络参数的学习准则。实验表明,在电话交谈语音识别任务上,这种方法相比于基线模型取得了相对4%的词错误率(WER)下降。进一步探索了L2范数正则技术和空间平滑方法的互补性,实验结果表明,同时应用这2种算法,能够取得相对8.6%的WER下降。

长短时记忆网络与新安江模型耦合的降雨径流模拟性能

深度学习技术在降雨径流模拟方面具有广阔应用前景,但受训练样本限制,需与传统水文模型相耦合,由传统水文模型提供训练数据。耦合数据的选择和超参数方案对耦合模型的模拟性能影响显著,但尚未有专门的研究。本文以东湾流域为例,用双向长短时记忆网络耦合新安江模型不同模块数据,并用灰狼优化算法优化超参数,构建降雨径流模型。结果表明:模型耦合不同数据时,对日径流和场次洪水的模拟性能均有提高,尤以耦合产流量和模拟流量数据时最为明显。不同耦合数据需调整超参数方案,灰狼优化算法可满足需求。本研究为提高耦合模型径流模拟能力提供了新思路和新方法。

结合密集神经网络与长短时记忆模型的中文识别

文本图像识别是计算机视觉领域一项重要任务,而其中的中文识别因种类繁多、结构复杂以及类间相近等特点很具挑战性.为改善这一问题,使用文本行端到端的识别模型.首次提出利用密集卷积神经网络(DenseNet)提取文本图像底层特征,同时避免手工设计、统计图像特征的繁琐;将整行图像特征直接送入双向长短时记忆模型(BLSTM)进行局部相关性分析,减少字符定位分割这一步骤;最后采用时域连接模型(CTC)解码获得识别的文本信息.实验表明所提出的模型可以高效的进行图像文本行的识别,并对图像的多种形变具有较好的鲁棒性.

一种基于双向LSTM的联合学习的中文分词方法

针对现有的基于深度学习的神经网络模型通常都是对单一的语料库进行训练学习,提出了一种大规模的多语料库联合学习的中文分词方法。语料库分别为简体中文数据集(PKU、MSRA、CTB6)和繁体中文数据集(CITYU、AS),每一个数据集输入语句的句首和句尾分别添加一对标志符。应用BLSTM(双向长短时记忆模型)和CRF(条件随机场模型)对数据集进行单独训练和多语料库共同训练的实验,结果表明大规模的多语料库共同学习训练能取得良好的分词效果。

基于混合DBNN-BLSTM模型的大词汇量连续语音识别

深度置信神经网络(DBNN)模型和双向长短时记忆神经网络模型(BLSTM)在单独进行特征提取时识别率不理想,长短时记忆单元(LSTM)与BLSTM模型可以更好解析语音数据特征.因此将DBNN模型和BLSTM模型相结合,提出一种大词汇量连续语音识别(LVCSR)的声学模型建立方法,并在Keras深度学习框架下进行实验.实验结果表明,使用改进的DBNNBLSTM模型进行大词汇量连续语音识别,识别精度有所提高,比BLSTM模型的语音识别率提高5%.

基于BiLSTM模型的定义抽取方法

定义抽取是从非结构化文本中自动识别定义句的任务,定义抽取问题可建模为句子中术语及相应定义的序列标注问题,并利用标注结果完成抽取任务。针对传统的定义抽取方法在抽取定义特征过程中费时且容易造成错误传播的不足,提出一个基于双向长短时记忆(BiLSTM)的序列标注神经网络模型,对输入文本进行自动化定义抽取。通过将原始数据输入到BiLSTM神经网络中,完成输入句的特征表示,并采用基于LSTM的解码器进行解码得到标注结果。在Wikipedia英文数据集上的实验结果表明,该方法的精确率、召回率和F1值分别为94.21%、90.10%和92.11%,有效提升了基准模型效果。

基于BERT-Att-biLSTM模型的医学信息分类研究

目前,对互联网上虚假健康信息的研究多集中于谣言识别,而对医学信息自动分类的研究较少。采用基于双向编码的语言表征模型和注意力增强的双向长短时记忆模型(BERT-Att-BiLSTM模型),对健康信息文本进行分类,实现自动识别虚假健康信息。实验结果表明,BERT-Att-BiLSTM模型可以高效地对医学信息进行分类,其中BERT模型相较于BiLSTM模型,性能提升明显;与融合Word2Vec的BiLSTM模型相比,BERT-Att-BiLSTM模型效果更佳。

基于BERT-BiLSTM-CRF的中文分词和词性标注联合方法

针对中文分词、词性标注等序列标注任务,本文提出了结合BERT语言模型、BiLSTM(双向长短时记忆模型)、CRF(条件随机场模型)和马尔可夫族模型(MFM)或树形概率(TLP)构建的中文分词和词性标注联合方法.隐马尔可夫(HMM)词性标注方法忽略了词本身到词性的发射概率,而在利用树形概率或马尔可夫族统计模型的词性标记中,一个词的词性不仅和该词前一个词的词性关联,且与该词自身关联.使用联合方法有助于使用词性信息帮助分词,将两者紧密结合能够帮助消除歧义和改进分词、词性标记的性能.实验结果表明本文使用的中文分词和词性标注联合方法与普通的BiLSTM-CRF分词算法相比,可以明显提升分词性能,而且相比于通常的隐马尔可夫词性标注方法能够大幅度提高词性标注的准确率.

基于BiLSTM-CRF的中文分词和词性标注联合方法

针对中文分词、词性标注等序列标注任务,提出结合双向长短时记忆模型、条件随机场模型和马尔可夫族模型或树形概率构建的中文分词和词性标注联合方法。隐马尔可夫词性标注方法忽略了词本身到词性的发射概率。在基于马尔可夫族模型或树形概率的词性标注中,当前词的词性不但与前面词的词性有关,而且与当前词本身有关。使用联合方法有助于使用词性标注信息实现分词,有机地将两者结合起来有利于消除歧义和提高分词、词性标注任务的准确率。实验结果表明:本文使用的中文分词和词性标注联合方法相比于通常的双向长短时记忆模型−条件随机场分词模型能够大幅度提高分词的准确率,并且相比于传统的隐马尔可夫词性标注方法能够大幅度提高词性标注的准确率。

基于深度学习的电商用户评论情感分析

随着我国移动互联网和互联网金融的快速发展,为更好地让商家和用户理解与分析电商平台上的用户评论,为了获取商品评论中的情感特征并捕捉更多的情感信息,可以使用深度学习技术来构建模型。文章提出构建BERT-BiLSTM-CRF模型,该模型将深层语言模型BERT与双向长短记忆网络和条件随机场模型(BiLSTM+CRF)相结合建立新模型,运用BERT模型的嵌入层对句子进行分割,将其转为词向量后传递到BiLSTM模型中,从而获得文本中的属性和情感词,并使用条件随机场来解决远程依赖关系无法识别的缺陷。实验结果表明,通过国际语义评测大会提供的数据集,实验验证了本模型在文本情感分析精度方面的优越性。

基于自适应帧采样算法和BLSTM的视频转文字研究

针对视频转文字(video to text)存在的建模复杂和准确率低的问题,提出了基于自适应帧采样算法和双向长短时记忆模型的视频转文字方法.自适应帧采样算法能够动态地调整采样率,以提供尽量多的特征来训练模型;结合双向长短时记忆模型,能有效学习视频中前面帧和未来帧的相关信息;同时,用于训练的特征是来自深度卷积神经网络的特征,使得这种双深度的网络结构能够学习视频帧在时空上的关联表示及全局依赖信息;帧信息的融合又增加了特征的种类,从而提升了实验效果.结果显示,在M-VAD和MPIIMD两个数据集中,文中的方法在METEOR中的评分均值分别为7.8%和8.6%,相对原S2VT模型分别提高了16.4%和21.1%,也提升了视频转文字的语言效果.

基于连续语音识别技术的猪连续咳嗽声识别

针对现有基于孤立词识别技术的猪咳嗽声识别存在识别声音种类有限,无法反映实际患病猪连续咳嗽的问题,该文提出了基于双向长短时记忆网络-连接时序分类模型(birectional long short-termmemory-connectionist temporal classification,BLSTM-CTC)构建猪声音声学模型,进行猪场环境猪连续咳嗽声识别的方法,以此进行猪早期呼吸道疾病的预警和判断。研究了体质量为75 kg左右长白猪单个咳嗽声样本的持续时间长度和能量大小的时域特征,构建了声音样本持续时间在0.24～0.74 s和能量大于40.15 V^2·s的阈值范围。在此阈值范围内,利用单参数双门限端点检测算法对基于多窗谱的心理声学语音增强算法处理后的30 h猪场声音进行检测,得到222段试验语料。将猪场环境下的声音分为猪咳嗽声和非猪咳嗽声,并以此作为声学模型建模单元,进行语料的标注。提取26维梅尔频率倒谱系数(Mel frequency cepstral coefficients,MFCC)作为试验语段特征参数。通过BLSTM网络学习猪连续声音的变化规律,并利用CTC实现了端到端的猪连续声音识别系统。5折交叉验证试验平均猪咳嗽声识别率达到92.40%,误识别率为3.55%,总识别率达到93.77%。同时,以数据集外1 h语料进行了算法应用测试,得到猪咳嗽声识别率为94.23%,误识别率为9.09%,总识别率为93.24%。表明基于连续语音识别技术的BLSTM-CTC猪咳嗽声识别模型是稳定可靠的。该研究可为生猪健康养殖过程中猪连续咳嗽声的识别和疾病判断提参考。

基于Bi-LSTM和自注意力的恶意代码检测方法

针对当前恶意代码检测方法严重依赖人工提取特征和无法提取恶意代码深层特征的问题,提出一种基于双向长短时记忆(Bidirectional Long Short Term Memory,Bi-LSTM)模型和自注意力的恶意代码检测方法。采用Bi-LSTM自动学习恶意代码样本字节流序列,输出各时间步的隐状态;利用自注意力机制计算各时间步隐状态的线性加权和作为序列的深层特征;通过全连接神经网络层和Softmax层输出深层特征的预测概率。实验结果表明该方法切实可行,相较于次优结果,准确率提高了12.32%,误报率降低了66.42%。

自注意力机制的短文本分类算法

分析目前的短文本分类算法没有综合考虑文本中隐含的依赖关系和局部关键信息这一问题,提出基于自注意力机制(self-attention mechanism)的堆叠双向长短时记忆网络(stack bidirectional long short term memory)模型(简称Att-BLSTMs)。利用stack Bi-LSTMs捕获上下文隐藏依赖关系,优化短文本特征稀疏的问题;利用自注意力机制加大对短文本中局部关键信息的注意力,优化文本表示。在公开AG-news网页新闻的语料和DBpedia分类数据集中,进行丰富的对比实验。实验结果表明,该模型将文本中隐含依赖关系与局部关键信息综合考虑后,有效提高了短文本分类的准确性。

BLSTM-PA在食品安全领域语义分析仿真研究

食品安全领域的智能问答系统旨在对用户通过自然语言进行的食品安全方面的提问做出快速、简洁的反馈,其技术挑战主要在于语义分析和答案句子表示,尤其是在于如何消除问答之间的词汇差距以加强问答匹配能力,以及如何抓取准确的核心单词以增强句子表示能力。尽管基于"短语级别"和众多的注意力模型已经取得了一定的性能提升,但基于注意力的框架都没有很好的重视位置信息。针对上述问题,运用词林和word2vec相结合的方法,提出近义词-主词替换机制(将普通词映射为核心词),实现了语义表示的归一化。同时,受位置上下文提升信息检索性能的启发,假设如果问句中的一个词(称之为问题词)出现在答案句中,问题词的临近词对比偏离词应该被给与更高的权重。基于上述假设,提出了基于双向lstm模型的位置注意力机制(BLSTM-PA)。上述机制给与答案句中问题词的临近文本更高的注意力。以食品安全问答系统为语义分析验证和仿真的平台,通过在食品安全领域数据集(即FS-QA)上进行的对比实验,从MAP和MRR评价指标来看,与基于传统的注意力机制的RNN模型相比,BLSTM-PA实现了5.96%的提升,证明了BLSTM-PA模型的良好性能,同时,集成了提出的问答模型的食品安全问答系统性能也得到了显著的提升。

问答系统命名实体识别改进方法研究

问答系统是一种以准确且自然的语言来回答用户提问的系统。本文对其中涉及的“命名实体识别”环节尝试了一些改进措施:针对传统单向模板匹配耗时耗力的问题,提出一种双向格子结构的长短时记忆网络(Lattice Bi‑LSTM),解决了命名实体识别中对句子处理不当和对分词结果具有依赖性的两大问题。与单向结构相比,双向结构能更好地利用句子信息,使输出结果更具鲁棒性,从而更准确地捕获语义信息;针对传统方法未考虑实体间相似度的非线性耦合性问题,提出一种利用周期性核函数将“相似”实体准确链接到知识库中去的方法。对提出的两种改进方法进行了实验验证,结果表明:与经典方法相比,所用方法具有显著的改进效果。

基于BiLSTM-CRF的中文层级地址分词

中文地址分词是中文地址标准化的基础工作和地理编码的重要手段,同时也是中文分词和地理研究领域中关注的热点问题之一。针对当前中文地址分词方法缺乏地址层级切分和过多依赖词典和特征的问题,本研究结合四词位标注集和中文层级地址特点,构建针对中文层级地址分词的地址标注体系,并提出融合双向长短时记忆网络和条件随机场(BiLSTM-CRF)的中文层级地址分词模型。该模型既考虑了BiLSTM模型能够记忆上下文地址的特性,也保留了CRF算法可以通过转移概率矩阵控制地址标注输出的能力。针对该地址标注体系标注的训练地址样本,分别使用CRF、LSTM、BiLSTM与BiLSTM-CRF模型进行训练对比。结果表明:①基于中文地址标注体系的模型分词效果更佳,地址标注更为精细,符合实际地址分布情况;②BiLSTM-CRF模型精确度达到93.4%,高于CRF(90.4%)、LSTM(89.3%)和BiLSTM(91.2%),其整体地址分词性能和各层级地址分词效果相对于其他模型更突出;③各模型分词性能与地址层级保持一致,即地址层级越高,分词效果越好。本研究提出的中文地址标注体系和分词模型为开展中文地址标准化工作提供了方法参考,同时也为进一步提升地理编码技术的精准度提供了可能。