ASE-ERNIE:一种基于ERNIE的中文指令动作序列生成方法

中文结构灵活多样,同样的语义有多种表达方式,在中文指令过长或存在多组动作的情况下,家庭服务机器人很难正确理解并做出响应。此外,家庭环境的中文指令解析研究在数据方面仍然稀缺。现有的方法不能准确提取出指令中包含的全部动作序列。由此提出一种基于ERNIE方法的动作序列提取(ASE-ERNIE)模型来提取中文指令中的可执行动作序列,该模型通过动作类型和参数之间的关系提取指令信息,将动作序列的提取工作转化为序列标注任务。在指令中存在多组动作并且存在多个参数的情况下,依然能够提取出全部动作序列。通过实验验证了所提方法的有效性,动作序列提取任务的F 1值达到了80.37%。

基于ERNIE-AA模型的诉求文本分类技术

12345市民服务热线中汇集了大量的市民诉求,对这些诉求文本进行分类能够有效地提高市民服务热线的办事效率。为了快速且精准地对诉求文本进行分类,提出一种融合了人工注意力机制的ERNIE-AA模型。该模型将人工分类时的启发式规则通过人工注意力机制引入ERNIE模型的输入表示,通过预训练模型增加影响分类的关键词的注意力权重。实验结果表明:ERNIE-AA模型在诉求文本数据集上具有良好的表现,分类准确率可达86.71%。

基于ERNIE及改进DPCNN的棉花病虫害问句意图识别

针对目前没有公开的棉花病虫害相关问句数据集且问句较短、类型多样等问题,本研究通过查阅文献及咨询相关领域专家,构建了棉花病虫害问句数据集CQCls,定义了78种棉花病虫害实体和9种问句类型;同时提出了一种基于ERNIE预训练模型的棉花病虫害问句意图识别模型,首先通过ERNIE模型将输入问句映射到向量空间,使用融合词位置信息的DPCNN模型进行特征向量的抽取,与基础的DPCNN模型相比,通过融合词位置信息能有效提高模型的表达能力,然后经过Softmax得到最终结果。实验结果表明,本研究提出的意图识别模型相较于其他模型取得了较好的结果,宏平均和加权平均的F1分数值分别为97.45%和97.31%;在文本语料数据内容复杂多样且文本格式不规范的DMSCD数据集上,训练结果中不同类别的F1分数的权重平均也能达到73.42%,进一步证明了该模型的有效性及泛化能力。

一种基于内容和ERNIE3.0-CapsNet的中文垃圾邮件识别方法

针对目前中文垃圾邮件识别方法中的深度学习检测方法词向量表示不足和特征提取丰富度欠缺的问题,提出融合ERNIE3.0预训练模型的胶囊神经网络改进识别模型——ERNIE3.0-CapsNet.对于中文垃圾邮件内容文本,利用ERNIE3.0生成对于知识具备优异记忆和推理能力且语义丰富的词向量矩阵,再使用胶囊神经网络进行特征提取及分类,对于胶囊神经网络,改进了结构并使用GELU作为其动态路由的激活函数,设计了5组同类模型和4组激活函数的对比实验.在开源的TREC06C中文邮件数据集上,提出的ERNIE3.0-CapsNet模型效果在总体上表现突出,其准确率达到99.45%.实验结果表明,ERNIE3.0-CapsNet优于ERNIE3.0-TextCNN,ERNIE3.0-RNN等方法,证明了该模型在中文垃圾邮件识别效果的有效性和优异性.

基于ERNIE-BiGRU-Attention-CRF的电子病历命名实体识别方法

目的/意义改善中文电子病历命名实体识别模型的性能,更好地开展医疗信息的组织和挖掘。方法/过程构建ERNIE-BiGRU-Attention-CRF中文电子病历命名实体识别模型,首先采用ERNIE1.0预训练模型生成具有语义特征的词向量,然后利用BiGRU捕获全局语义特征与语法结构特征,通过Attention机制进一步增强语义特征的捕获,最后连接CRF解码层输出全局概率最大的标签序列。结果/结论在公开的医疗文本数据集CCKS2017开展对比实验、消融实验,利用生成的模型进行实例分析,取得较好的识别效果。

基于ERNIE-BiGRU-CRF模型的煤矿安全隐患命名实体智能识别研究

为充分挖掘煤矿安全隐患文本关键知识,帮助煤矿企业安全管理人员更好的开展隐患排查治理工作,提出一种基于预训练语言模型的命名实体识别方法。首先定义煤矿安全隐患实体类别,并采用BIO标注策略构建了7个实体类别和15个实体标签;然后将收集到的煤矿隐患排查数据进行预处理,由煤矿安全领域专家人工标注相关实体,得到1500条煤矿安全隐患命名实体标准数据集;最后采用ERNIE预训练模型对煤矿安全隐患文本词向量进行表征、同时利用BiGRU结构进行上下文语义特征提取以及CRF模型进行实体标签解码,完成煤矿安全隐患命名实体识别研究。实验结果表明:ERNIE-BiGRU-CRF模型在序列标注任务上的精确率、召回率和F1值分别为56.69%、69.23%和62.34%,较于BiLSTM-CRF基线模型分别提高了6.85%、13.74%和9.83%,并且实体抽取结果与实际标注结果相差不大。另外,消融实验也验证了BiGRU层能够更好的捕捉煤矿安全隐患文本上下文语义依赖关系以及CRF层能够进一步优化标签序列的有效性。

融合ERNIE和双向注意力流的医生推荐算法

医生推荐是在线问诊平台的研究热点之一,为了向患者提供更加精准、个性化的医生推荐,提出一种融合ERNIE和双向注意力流的医生推荐算法。首先,利用ERNIE预训练模型对患者疾病描述进行词向量编码,通过弱监督的方式自定义标签生成医生擅长文本训练数据,再将医生职称信息与擅长文本进行拼接输入到ERNIE模型中;其次,采用双向注意力流(bi-directional attention flow)捕捉医生文本中的关键信息,学习患者疾病描述文本和医生文本的关系,获得融合患者信息的医生综合特征向量;最后,将医生综合特征和患者特征进行相似度计算产生推荐结果。利用来自“好大夫在线”的真实数据进行了不同算法实验对比,结果表明所提算法在推荐性能上有明显提升。

基于知识图谱联合ERNIE-DPCNN模型的药品不良反应自动关联性评价方法研究

目的 针对当前药品不良反应关联性评价存在的效率较低和主观性评估问题,通过建立药品不良反应关联性评价模型,探索药品不良反应自动关联性评价方法。方法 利用文献及互联网来源,对获取的不良反应报告标注数据(7 301条)进行知识抽取,构建药品不良反应知识图谱,建立知识驱动的ERNIE-DPCNN自动关联性评价模型。结果 提出的知识图谱联合ERNIE-DPCNN模型在测试集中的精确度、召回率和F1值分别达到82.18%、81.40%、81.21%,相对于其他基线模型各项评估指标均取得了最高值。结论 知识图谱联合ERNIE-DPCNN模型的方法能提高药品不良反应关联性评价效率,具备较强的准确性,并在一定程度上减少主观性评估误差,对基于人工智能的自动化评价有一定参考价值。

基于ERNIE-BiLSTM-DPCNN的微博长文本谣言检测

为了实现对于微博长文本谣言的检测,使用ERNIE模型对微博长文本数据使用词嵌入技术实现对文本的向量化,将这些词向量作为BiLSTM-DPCNN模型的输入,利用BiLSTM-DPCNN模型的特性,捕捉句子中的上下文信息和长期依赖关系,最终高效地提取特征并进行分类.数据集通过五折交叉验证方法划分,通过设置多组对比实验,实验结果显示:ERNIE-BiLSTM-DPCNN模型的准确率达到98.52%,高于在同一数据集下的其他同组实验,证明该模型对于微博长文本谣言检测具有较好的效果.

基于ERNIE-BiLSTM的社交网络文本情感分析

社交网络文本情感分析任务中,因短文本信息模糊等特点,传统的词向量模型无法更好地表示词的语义特征,当前短文本情感分类任务多以二分类研究为主,将结果分类为积极情感与消极情感,未能对分类结果更细入的划分。文中提出一种舆情情感分析的ERNIE-BiLSTM方法,实现了对用户评论情感的七种情绪分类,包括恐惧、厌恶、乐观、惊喜、感恩、悲伤和愤怒。ERNIE-BiLSTM方法利用ERNIE预训练模型获取文本的语义信息,结合BiLSTM提取文本的双向特征,最后使用softmax函数获得最终的情感分类结果。实验结果表明,ERNIE-BiLSTM方法具有87.7%的精确率、86.9%的召回率和86.8%的F1得分,比其他方法得到了有效提升。

基于MRC和ERNIE的有色冶金命名实体识别模型

命名实体是构建产业企业画像和产业知识图谱的重要依据,为解决现有方法在有色冶金领域命名实体识别任务当中无法充分提取文本语义特征、没有充分利用标签当中的先验知识和嵌套命名实体识别效果不佳的问题,提出了一种基于机器阅读理解框架(MRC)和知识增强语义表示模型(ERNIE)的MEAB(MRC-ERNIE-Attention-BiLSTM)模型结构。该模型在MRC框架的基础上,引入了基于Attention的信息融合策略,将两种不同结构的数据在ERNIE预训练模型进行特征提取之后转换为向量,并在信息融合层进行向量融合,使模型能够学习到标签当中的先验知识。随后BiLSTM模型对具有语义信息的向量从两个方向进行特征提取,并在一种多层嵌套命名实体识别器中进行输出,提高了嵌套命名实体的识别准确率。在构建的有色冶金领域命名实体识别数据集上的实验表明,MEAB模型的精确率、召回率和F1值分别达到了78.77%、79.76%和79.26%,证明了该模型的有效性。

基于ERNIE预训练的中医临床病历分类

将中医临床病历分为五大类问题,利用Transformers的双向编码器,在训练文本分类器之前,用未标注的临床语料库来微调ERNIE(Traditional Chinese Medicine-ERNIE)模型,精炼出一个针对中医知识领域的TCM-ERNIE模型,该语料库只使用临床记录文本中的汉字作为输入,无须再进行预处理或特征提取.最后采用基准数据集来评估TCM-ERNIE模型和传统文本分类器,取得了89.39%±0.35%的分类精度,Macro F1为88.64%±0.40%,Micro F1为89.39%±0.35%,还采用可视化的方法来显示注意力权重,进一步揭示临床病历文本中的指标性症状.

基于ERNIE的中文专利分类研究

依据中文专利文本内容实现专利的自动分类,可以为专利申请审查快速匹配一个或多个IPC分类号,以提升该工作的自动化水平。在对文本分类中的文本表示模型技术分析后,提出基于ERNIE并结合CNN和RNN构建用于中文专利自动分类的模型。模型以专利标题和摘要作为输入,以子类分类标签作为输出。在完成数据集制作基础上进行了相关实验,结果显示,方案的分类准确率达到了88.23%,性能优于基于Word2Vec和BERT的方法。

基于ERNIE+DPCNN+BiGRU的农业新闻文本分类

针对农业新闻目前面临的针对性差、分类不清和数据集缺乏等问题,提出一种基于ERNIE(Enhanced Representation through kNowledge IntEgration)、深度金字塔卷积神经网络(DPCNN)和双向门控循环单元(BiGRU)的农业新闻分类模型——EGC。首先利用ERNIE对数据集进行编码,然后利用改进后的DPCNN和BiGRU同时提取新闻文本的特征,再将两者提取的特征进行拼合并经过Softmax得到最终结果。为了使EGC模型适用于农业新闻分类领域,对DPCNN进行改进,减少它的卷积层以保留更多特征。实验结果表明,与ERNIE相比,EGC模型的精确率、召回率和F1分数别提升了1.47、1.29和1.42个百分点,优于传统分类模型。

基于分层ERNIE模型的中文嵌套命名实体识别

近年来中文嵌套命名实体识别的相关研究进展缓慢,BERT和RoBERTa等预训练模型在处理中文语言时,导致模型只能学习到不完整的语义表示.针对以上两个问题,首先使用现有的中文命名实体基准语料库ACE2004和ACE2005,依照原始语料的中心词和外延的关系自动构造嵌套命名实体;然后使用分层ERNIE模型在构建好的中文语料库上进行中文嵌套命实体识别的研究,相较于BERT等模型,ERNIE模型则是通过对中文实体语义单元的掩码,使得模型学习完整概念的语义表示.实验结果表明,分层ERNIE模型在ACE2004和ACE2005两个中文嵌套命名实体语料库上F1值分别为84.5%和85.9%,性能优于BERT和RoBERTa模型.

融合ERNIE和深度学习的文本分类方法

针对目前中文语义提取不充分,存在特征提取不完善、丢失关键信息的问题,提出了一种融合知识增强的语义表示(enhanced representation through knowledge integration,ERNIE)、卷积神经网络(convolutional neural networks,CNNs)、双向门控循环单元(bidirectional gated recurrent unit,BiGRU)的注意力机制(integration of ERNIE and CNNs-BiGRU′s attention mechanism,ECBA)模型。首先,使用ERNIE模型预训练出动态词向量;然后,在特征提取层设置不同大小的卷积核提取局部特征,再利用BiGRU模型提取全局特征,并在BiGRU模型中引入注意力机制捕获关键信息,及融合局部特征和全局特征得到最终的特征向量;最后,通过softmax函数预测类别。将模型在公开数据集上进行验证。结果表明,相较于对照模型,ECBA模型在准确率、召回率、F_(1)值上分别达到了95.07%、95.01%、95.03%的较好效果。ECBA模型用于新闻分类任务中,能促进特征提取技术在文本分类上的研究。

基于ERNIE和融合双通道特征的文本情感分类模型

针对传统词向量模型无法获取完整的语义表达,以及基础神经网络模型未能兼顾提取多种关联特征等问题,提出了一种融合预训练语言模型(ERNIE)和深层金字塔神经网络结构(DPCNN)/双向门控循环单元-注意力机制(BiGRU-Attention)的双通道文本情感分类模型。基于DPCNN的左通道负责提取文本长距离依赖表示,基于BiGRUAttention的右通道负责提取文本时间序列特征和关键信息。此外,均使用ERNIE模型提供动态字向量。最后,拼接融合双通道中的信息特征以获取最终的文本表示。实验结果表明,ERNIE-DBGA模型的准确率最高达到97.05%,优于其他对比方法,验证该模型可以有效提升情感分类的性能。

基于ERNIE与多特征融合的中文命名实体识别

【目的】在中文命名实体识别中,传统命名实体识别方法中词向量只能将其映射为单一向量,无法表征一词多义,在特征提取过程中易忽略局部特征。针对以上问题,提出一种基于知识增强语义表示(enhanced reprsentation through knowledge integration,ERNIE)与多特征融合的实体识别方法。【方法】首先,通过预训练模型ERNIE获得词向量;然后将词向量并行输入双向长短时记忆网络(bidirectional long short-term memory network,BiLSTM)与膨胀卷积神经网络(iterated dilated convolutional neural network,IDCNN)中提取特征,再将输出特征向量进行融合;最后通过条件随机场(conditional random field,CRF)解码获取最佳序列。【结果】本研究所提出的模型优于其他传统模型,在微软亚洲研究院(Microsoft Research Asia,MSRA)数据集上的F_(1)值达到了95.18%,相比基准模型BiLSTM-CRF F_(1)值提高了8.86百分点,相比ERNIE-BiLSTM-CRF模型F_(1)值提高了1.34百分点。此外,在ERNIE-BiLSTM-IDCNN-CRF中引入注意力机制后F_(1)值仅提升了0.07百分点,可见引入注意力机制对本研究所提出的模型之识别效果提升有限。【结论】本研究所提出的模型有效地提升了中文数据集上的实体识别性能,可为自然语言处理的命名实体识别研究提供参考。

结合ERNIE2.0的医疗中文命名实体识别模型

针对静态词向量存在无法表示多义词,以及传统深度学习模型特征提取能力不足等问题,提出了结合ERNIE2.0(Enhanced language Representation with Informative Entities 2.0)的医疗中文命名实体识别模型。ERNIE2.0模型通过结合词的上下文具体语境进行动态学习,得到词的动态语义表征,解决了一词多义问题。使用BiSRU模型提取医疗文本高维全局序列特征,软注意力机制用于计算每个词的权重大小,由条件随机场输出命名实体的序列标记结果。在标准化数据集上的实验表明,ERNIE2.0-BiSRU-AT-CRF模型的F1值达到了86.74%,优于实验对比的其他模型,证明了模型的有效性。

基于ERNIE序列标注的地址分级模型应用

提出基于ERNIE序列标注的地址分级模型进行地址提取识别,将地址分级问题转换为一个序列标注的NLP问题。首先将原始待分级地址文本输入到训练好的ERNIE命名实体识别算法训练模型中,得到11级地址的粗略分级;然后应用AC自动机算法,对地址的前5级地址进行补全或纠正,再通过正则化匹配对地址后4级进行纠正。提出的模型不仅可以提高地址解析的准确率,还可以对错误地址进行纠正,最后将模型用于真实数据集,验证了方法的有效性。