Long Short-Term Memory Recurrent Neural Network-Based Acoustic Model Using Connectionist Temporal Classification on a Large-Scale Training Corpus

A Long Short-Term Memory(LSTM) Recurrent Neural Network(RNN) has driven tremendous improvements on an acoustic model based on Gaussian Mixture Model(GMM). However, these models based on a hybrid method require a forced aligned Hidden Markov Model(HMM) state sequence obtained from the GMM-based acoustic model. Therefore, it requires a long computation time for training both the GMM-based acoustic model and a deep learning-based acoustic model. In order to solve this problem, an acoustic model using CTC algorithm is proposed. CTC algorithm does not require the GMM-based acoustic model because it does not use the forced aligned HMM state sequence. However, previous works on a LSTM RNN-based acoustic model using CTC used a small-scale training corpus. In this paper, the LSTM RNN-based acoustic model using CTC is trained on a large-scale training corpus and its performance is evaluated. The implemented acoustic model has a performance of 6.18% and 15.01% in terms of Word Error Rate(WER) for clean speech and noisy speech, respectively. This is similar to a performance of the acoustic model based on the hybrid method.

基于BERT-BiLSTM-CRF模型的畜禽疫病文本分词研究

针对畜禽疫病文本语料匮乏、文本内包含大量疫病名称及短语等未登录词问题,提出了一种结合词典匹配的BERT-BiLSTM-CRF畜禽疫病文本分词模型。以羊疫病为研究对象,构建了常见疫病文本数据集,将其与通用语料PKU结合,利用BERT(Bidirectional encoder representation from transformers)预训练语言模型进行文本向量化表示;通过双向长短时记忆网络(Bidirectional long short-term memory network,BiLSTM)获取上下文语义特征;由条件随机场(Conditional random field,CRF)输出全局最优标签序列。基于此,在CRF层后加入畜禽疫病领域词典进行分词匹配修正,减少在分词过程中出现的疫病名称及短语等造成的歧义切分,进一步提高了分词准确率。实验结果表明,结合词典匹配的BERT-BiLSTM-CRF模型在羊常见疫病文本数据集上的F1值为96.38%,与jieba分词器、BiLSTM-Softmax模型、BiLSTM-CRF模型、未结合词典匹配的本文模型相比,分别提升11.01、10.62、8.3、0.72个百分点,验证了方法的有效性。与单一语料相比,通用语料PKU和羊常见疫病文本数据集结合的混合语料,能够同时对畜禽疫病专业术语及疫病文本中常用词进行准确切分,在通用语料及疫病文本数据集上F1值都达到95%以上,具有较好的模型泛化能力。该方法可用于畜禽疫病文本分词。

基于深度学习的文本分类研究综述

与传统的机器学习模型相比,深度学习模型试图模仿人的学习思路,通过计算机自动进行海量数据的特征提取工作。文本分类是自然语言处理中的一个重要应用,在文本信息处理过程中具有关键作用。过去几年,使用深度学习方法进行文本分类的研究激增并取得了较好效果。文中简要介绍了基于传统模型的文本分类方法和基于深度学习的文本分类方法,回顾了先进文本分类方法并重点关注了其中基于深度学习的模型,对近年来用于文本分类的深度学习模型的研究进展以及成果进行介绍和总结,并对深度学习在文本分类领域的发展趋势和研究的难点进行了总结和展望。

基于增强优化预训练语言模型的电力数据实体识别方法

知识图谱可有效整合电力系统中的多源数据,提升电网的知识管理水平。针对电力文本数据集稀缺、实体类型多样、专业性强的特点,提出1种基于增强优化预训练语言模型的电力数据实体识别方法。该方法使用实体词袋替换的数据增强技术扩大原始数据集,采用增强优化预训练语言模型(RoBERTa)进行动态语义编码,利用双向长短期记忆网络(BiLSTM)和条件随机场(CRF)提取特征并优化标签。实验结果表明,该实体识别方法比传统基于深度学习的实体识别方法的平均数指标F1分数高2.17%,证实其对构建电力数据知识图谱的识别效果。

基于MacBERT与对抗训练的机器阅读理解模型

机器阅读理解旨在让机器像人类一样理解自然语言文本,并据此进行问答任务。近年来,随着深度学习和大规模数据集的发展,机器阅读理解引起了广泛关注,但是在实际应用中输入的问题通常包含各种噪声和干扰,这些噪声和干扰会影响模型的预测结果。为了提高模型的泛化能力和鲁棒性,提出一种基于掩码校正的来自Transformer的双向编码器表示(Mac BERT)与对抗训练(AT)的机器阅读理解模型。首先利用Mac BERT对输入的问题和文本进行词嵌入转化为向量表示;然后根据原始样本反向传播的梯度变化在原始词向量上添加微小扰动生成对抗样本;最后将原始样本和对抗样本输入双向长短期记忆(Bi LSTM)网络进一步提取文本的上下文特征,输出预测答案。实验结果表明,该模型在简体中文数据集CMRC2018上的F1值和精准匹配(EM)值分别较基线模型提高了1.39和3.85个百分点,在繁体中文数据集DRCD上的F1值和EM值分别较基线模型提高了1.22和1.71个百分点,在英文数据集SQu ADv1.1上的F1值和EM值分别较基线模型提高了2.86和1.85个百分点,优于已有的大部分机器阅读理解模型,并且在真实问答结果上与基线模型进行对比,结果验证了该模型具有更强的鲁棒性和泛化能力,在输入的问题存在噪声的情况下性能更好。

基于XLNET模型的开阳磷矿成矿条件相关地质实体识别与应用

随着磷矿找矿难度越来越大,地质勘探成果报告也愈来愈多,通过人工识别海量文档中与磷矿成矿相关地质信息耗时低效,无法满足知识共享传播和地质报告智能管理的需求。为快速获得磷矿地质文档报告中隐藏的成矿地质知识,基于XLNET模型建立了磷矿成矿地质实体自动识别的方法。首先对实体进行BIO标注建立地质实体字典,利用XLNET作为底层预处理模型学习句子双向语义;然后使用BILSTM-Attention-CRF模型实现文本多标签的智能分类;最后通过定位磷矿实体在报告中的分布位置大致推测该处磷矿成矿条件和成矿模式。将该模型与其余3种模型比较得出结果,该模型识别的准确率(P)、召回率(R)及F1值都接近了90%,较前3种模型分别调高了2%,5%,6%。该研究为开阳磷矿地质研究人员提供了更加高效的地质实体自动识别的方法。

LSTM网络在语音转文字应用中的优化方法

为研究基于长短期记忆(Long Short-TermMemory,LSTM)网络的语音转文字系统的优化方法,首先说明LSTM在语音转文字任务中的基本原理和架构,其次分析自适应矩估计(Adaptive Moment Estimation,Adam)优化算法的核心机制及其在LSTM网络中的应用,最后在Mozilla DeepSpeech框架中嵌入基于Adam优化的LSTM模型,并使用THCHS-30数据集进行实验。实验结果表明,基于Adam优化的LSTM模型在词错率和F1分数上均表现出显著的优越性。

基于卷积时空交互融合网络的列车轴承故障诊断

[目的]轴箱轴承运行环境的多元复杂性使得采用单一传感器的轴承故障诊断方法难以取得良好的效果。针对此问题,特开展了基于卷积时空交互融合网络的列车轴承故障诊断的研究。[方法]采用多传感器融合方法,在水平-竖直振动数据集上提出了一种CTS-MFN(基于卷积时空交互融合网络)用于轴承故障诊断。将ECA(高效通道注意力)模块、LSTM(长短期记忆)网络和相似性距离约束引入卷积自编码器,使模型能够提取具有模态间交互信息的时间-空间注意特征;在利用MLP(多层感知机)对各模态时空特征进行融合推断。[结果及结论]通过对比试验、消融研究、泛化性能分析等试验,证明了所提模型的有效性。

基于BERT的农作物命名实体识别模型研究

随着数字农业的快速发展,农作物命名实体识别作为农业领域知识图谱构建的基础,成为一种高效率的农作物研究领域识别方法。由于农作物实体识别呈现结构复杂、实体指称不一致、干扰因素多等特征,严重制约了农作物领域实体识别的性能,提出一种基于预训练语言模型的实体识别模型,使用BERT为文本中词进行编码、采用双向LSTM(Long-Short Term Memory)获取句子中关键词的上下文,采用CRFs(Conditional Random Fields)捕获词之间的依赖关系,并结合所构建的农作物命名实体识别数据集进行验证。实验证明该模型能够有效对农作物实体进行识别,且性能优于当前已有的实体识别模型。

融合LSTM的自然语言转结构化查询语句算法的研究与设计

自然语言转结构化查询语句(Natural Language to SQL,NL2SQL)是信息领域一个重要课题.目前前沿的NL2SQL工作都是针对英文数据集,而处理英文数据的方法直接应用到中文上往往难以取得很好的效果.本文首先对传统的SQLNet模型进行了改进,在其中融入了预训练模型,增强了其提取特征的能力;之后又分别对分类模型和条件值模型进行了改进:在分类模型中增加了LSTM进一步捕捉特征,在条件值模型中使用正则表达式等手段对特殊的条件子句进行了预处理.实验表明,本文对分类模型和条件值模型所做的改进都能有效提升模型的表达效果.

高速磁浮列车悬浮间隙仿真预测

基于长短时记忆(LSTM)神经网络提出了一种可用于高速磁浮列车的电磁铁悬浮间隙预测方法。考虑高速磁浮列车运行过程中受到的气动荷载,建立了列车仿真模型并计算列车的动态响应;通过PyCharm建立LSTM神经网络,并以高速磁浮列车仿真模型计算结果为样本集,构建了高速磁浮列车电磁铁悬浮间隙预测模型。最后,通过对预测模型计算结果和评价指标进行评判,验证了所提出的电磁铁间隙预测算法的准确性。

基于深度强化学习的动态装配算法

针对动态装配环境中存在的复杂、动态的噪声扰动,提出一种基于深度强化学习的动态装配算法。将一段时间内的接触力作为状态,通过长短时记忆网络进行运动特征提取;定义序列贴现因子,对之前时刻的分奖励进行加权得到当前时刻的奖励值;模型输出的动作为笛卡尔空间位移,使用逆运动学调整机器人到达期望位置。与此同时,提出一种对带有资格迹的时序差分算法改进的神经网络参数更新方法,可缩短模型训练时间。在实验部分,首先在圆孔–轴的简单环境中进行预训练,随后在真实场景下继续训练。实验证明提出的方法可以很好地适应动态装配任务中柔性、动态的装配环境。

基于RoBERTa和对抗训练的中文医疗命名实体识别

BERT(Bidirectional Encoder Representations from Transformers)和神经网络模型相结合的方法目前已被广泛应用于中文医疗命名实体识别领域。但BERT在中文中是以字为粒度切分的,没有考虑到中文分词。而神经网络模型往往局部不稳定,即使微小的扰动也可能误导它们,导致模型的鲁棒性差。为了解决这两个问题,提出了一种基于RoBERTa(A Robustly OptimizedBERTPre-trainingApproach)和对抗训练的中文医疗命名实体识别模型(ATRBC)。首先,使用RoBERTa-wwm-ext-large(ARobustlyOptimizedBERTPre-training Approach-whole word masking-extended data-large)预训练模型得到输入文本的初始向量表示;其次,在初始向量表示上添加一些扰动来生成对抗样本;最后,将初始向量表示和对抗样本一同依次输入双向长短期记忆网络和条件随机场中,得到最终的预测结果。在CCKS 2019数据集上的实验结果表明,AT-RBC模型的F1值达到了88.96%;在Resume数据集上的实验结果表明,AT-RBC模型的F1值也达到了97.14%,证明了该模型的有效性。

基于BERT-BILSTM-CRF模型的电力行业事故文本智能分析

为解决电力行业事故报告文本较长、语义复杂,难以进行有效文本识别问题,提出1种以BERT作为底层的预训练模型,并设计1种双重注意力机制编码器,结合BILSTM-CRF深度挖掘事故文本语义特征,从而实现文本智能分析。首先构建电力词典,通过对BERT预训练,进行BIO标注,然后引入BILSTM-CRF模型实现对文本标签智能分类,最后将该模型与现行其他4种深度学习模型进行对比。研究结果表明:该模型智能识别精确率、召回率及F 1值(查准率)均达到约97%,较其他4种模型中效果最好的模型分别提高0.02,0.03,0.02。研究结果可为电力行业事故报告文本分析提供1种新思路。

基于BERT的金融文本情感分析与应用

针对金融文本情感倾向模糊问题,设计了一种基于BERT(Bidirectional Encoder Representations from Transformers,基于Transformer的双向编码技术)和Bi-LSTM(Bidirectional Long Short-Term Memory Network,双向长短时记忆网络)的金融文本情感分析模型,以BERT模型构建词向量,利用全词掩盖方法,能够更好地表达语义信息。为搭建金融文本数据集,提出一种基于深度学习模型的主题爬虫,利用BERT+Bi-GRU(双门控循环单元)判断网页内文本主题相关性,以文本分类结果计算网页的主题相关度。实验结果表明:本文所设计的情感分析模型在做情感分析任务时取得了87.1%的准确率,能有效分析文本情感倾向。

改进BERT词向量的BiLSTM-Attention文本分类模型

在文本的多分类任务中,基于预训练模型的词向量不能很好地学习到文本多样化信息,降低了文本分类任务的准确率。针对该问题,提出了一种基于残差注意力BERT词向量的BiLSTM-Attention文本分类模型。首先,将输入的文本转化为向量特征,利用残差注意力BERT模型提取更加丰富的语义特征词向量信息。接着,利用BiLSTM模型提取特征的上下文联系信息,将BERT模型“[CLS]”对应的输出与BiLSTM模型的输出进行拼接,对特征信息进行深度融合,从而实现特征有效利用。在THUNews数据集上进行性能评估,实验结果表明:所提模型在准确率和F1值指标上均优于现有深度学习模型的结果,具有更优的分类效果。

基于SNN-LSTM的小样本数据下轴承故障诊断方法

基于深度学习的故障诊断方法的实现,需要用到大量的、有标注的训练样本,而在小样本数据下,采用这些方法会产生模型欠拟合问题,同时获得的分类准确率也较低。为了解决上述问题,提出了一种小样本数据下结合孪生神经网络(SNN)与长短时记忆网络(LSTM)的轴承故障诊断方法。首先,以一对带有正负标签的原始振动信号样本作为诊断方法的输入,采用比较二者相似度的方法,扩充了训练样本个数;然后,采用共享提取样本对特征网络参数的方法,完成了SNN的搭建过程;使用卷积层、池化层及LSTM层提取了原始振动信号的特征,通过计算二者之间的曼哈顿距离,判断输入样本对的相似度,对不同状态下的轴承完成了分类;最后,为了验证基于SNN-LSTM的故障诊断方法在轴承故障诊断中的有效性,通过轴承故障诊断实验,采集了在不同转速、不同状态下的轴承振动信号数据。研究结果表明:当样本数量仅为140个,采用基于SNN-LSTM的故障诊断方法的准确率达到80.57%,相比于深度学习经典方法,在小样本数据下采用该方法具有更高的诊断准确率。

站内长短进路的列控系统处理方案研究

以高速铁路既有站改造和海外工程建设为出发点,介绍长短进路的定义及应用原则,分析基于站内长短进路的双车停靠和多股道发车/接车安全运营场景,从站内长短进路的配置、长短进路状态以及长短进路处理3个方面提出列控系统的长短进路处理方案。根据站内长短进路处理方案对安全运营场景进行效果分析,有效证明该方案具有重要的应用价值。

基于RoBERTa与字词融合的电子病历命名实体识别方法研究

为了提高所抽取电子病历文本中语义信息的准确性,提出基于RoBERTa与字词融合的电子病历命名实体识别算法.采用预训练模型RoBERTa得到充分考虑上下文信息的字向量;然后对文本进行分词处理,再通过Word2Vec得到词向量;最后将两者进行融合传入双向长短记忆神经网络BiLSTM中进行训练,经过条件随机场CRF进行预测输出.在电子病历数据集上进行的对比实验表明,在采用3个评价指标的情况下,文中算法均明显优于经典的电子病历命名实体识别方法.

基于遗传算法的大小交路开行方案优化模型研究

近年来,我国城市轨道交通快速发展,并成为城市公共交通的重要组成部分。城市轨道主要采用大小交路方案,即将轨道交通线路划分为2条大小不同的交路,可以更好地应对客流不均匀的情况,大小交路运营模式是我国城市轨道交通运用得最广泛的运营管理方式,在面对庞大的客流量和复杂的车站数据时,需要将企业的运营成本尽可能最小化和乘客服务水平尽可能最大化,在此基础上决定列车开行方案成为城市轨道交通运营的重要一环,故该文旨在解决大小交路模式下的列车开行方案问题。