基于ERNIE及改进DPCNN的棉花病虫害问句意图识别

针对目前没有公开的棉花病虫害相关问句数据集且问句较短、类型多样等问题,本研究通过查阅文献及咨询相关领域专家,构建了棉花病虫害问句数据集CQCls,定义了78种棉花病虫害实体和9种问句类型;同时提出了一种基于ERNIE预训练模型的棉花病虫害问句意图识别模型,首先通过ERNIE模型将输入问句映射到向量空间,使用融合词位置信息的DPCNN模型进行特征向量的抽取,与基础的DPCNN模型相比,通过融合词位置信息能有效提高模型的表达能力,然后经过Softmax得到最终结果。实验结果表明,本研究提出的意图识别模型相较于其他模型取得了较好的结果,宏平均和加权平均的F1分数值分别为97.45%和97.31%;在文本语料数据内容复杂多样且文本格式不规范的DMSCD数据集上,训练结果中不同类别的F1分数的权重平均也能达到73.42%,进一步证明了该模型的有效性及泛化能力。

基于知识图谱联合ERNIE-DPCNN模型的药品不良反应自动关联性评价方法研究

目的 针对当前药品不良反应关联性评价存在的效率较低和主观性评估问题,通过建立药品不良反应关联性评价模型,探索药品不良反应自动关联性评价方法。方法 利用文献及互联网来源,对获取的不良反应报告标注数据(7 301条)进行知识抽取,构建药品不良反应知识图谱,建立知识驱动的ERNIE-DPCNN自动关联性评价模型。结果 提出的知识图谱联合ERNIE-DPCNN模型在测试集中的精确度、召回率和F1值分别达到82.18%、81.40%、81.21%,相对于其他基线模型各项评估指标均取得了最高值。结论 知识图谱联合ERNIE-DPCNN模型的方法能提高药品不良反应关联性评价效率,具备较强的准确性,并在一定程度上减少主观性评估误差,对基于人工智能的自动化评价有一定参考价值。

基于DPCNN模型与语句特征融合的汉语因果类复句关系自动识别

汉语复句关系识别是对复句语义关系的识别,复句关系类别的自动识别对促进语言学和中文信息处理的研究有重要的价值。因果类复句是使用频率最高的复句,文中以二句式有标广义因果复句为研究对象,使用语言技术平台LTP进行依存句法分析,获得词性、依存父节点的词序、与父节点的依存关系等特征,将特征的不同组合与预训练的词向量拼接,得到新的向量,将新的向量输入到DPCNN模型中来进行关系类别识别。通过实验对提出的方法进行检验,实验结果显示:与未融合任何特征相比,DPCNN模型中融合语句特征使实验结果的指标均有提升,表明融合语句特征能取得更好的识别效果。在各种特征组合中,融合POS特征组合得到的准确度和F_(1)值最高,分别为98.41%,98.28%。

基于改进ERNIE-DPCNN模型的中文文本分类

利用自然语言处理中一种基于字向量的增强语言表征模型--ERNIE,通过随机隐藏部分字、词组、实体语义单元,预测上下文实现语言表征,并将ERNIE预训练模型输出的词向量输入到改进的DPCNN模型,形成改进的ERNIE-DPCNN模型,用于中文文本分类.通过实例将改进的ERNIE-DPCNN模型与ERNIE、BERT、BERT-DPCNN、ERNIE-CNN、ERNIE-RNN、ERNIE-DPCNN 6类模型在准确率、精确率、召回率、运行时间等指标上进行对比,结果表明,改进的ERNIE-DPCNN模型均优于其他模型.

基于BERT和DPCNN的电商客服对话意图分类

针对消费者在与电商客服对话过程中的意图分类问题,提出了一种基于BERT词嵌入结合DPCNN模型及自注意力机制的BDCA深度学习算法。该算法采用BERT模型作为用户意图文本的词嵌入层进行预训练的词向量表示,借助DPCNN模型结构获得文本更全局的特征,同时结合自注意力机制和卷积神经网络提取文本的关键词特征,最后拼接融合两组特征输入到Softmax分类器进行分类。通过与TextCNN、BiGRU等语言模型在测试集上的对比实验,验证了该算法在电商客服对话意图分类上的有效性。

基于ERNIE-DPCNN模型的地址清洗匹配方法研究

大规模地址数据的词向量特征维度较高,导致地址清洗过程中存在一定的误差。为此,文章研究了基于ERNIE-DPCNN模型的地址清洗匹配方法。该方法利用数据准备层获取地址街道、POI等地址数据后,将其传输至逻辑计算层内;逻辑计算层使用ERNIE-DPCNN模型获取地址词向量特征,然后对该地址词向量特征进行地址分词匹配处理;将地址分词匹配结果输入到地址匹配引擎层内,生成行政区、街道等门牌索引;应用层使用Web服务器通过行政区、街道等门牌索引获取地址清洗匹配结果。实验结果表明:该方法可有效对地址数据字段进行清洗,最大程度地保留地址数据字段特征。该方法能在保证地址匹配结果较为精确的同时匹配到地址的行政区划分,应用效果较好。

基于预训练模型融合深层特征词向量的中文文本分类

为解决传统模型表示出的词向量存在序列、上下文、语法、语义以及深层次的信息表示不明的情况,提出一种基于预训练模型(Roberta)融合深层特征词向量的深度神经网络模型,处理中文文本分类的问题。通过Roberta模型生成含有上下文语义、语法信息的句子向量和含有句子结构特征的词向量,使用DPCNN模型和改进门控模型(RGRU)对词向量进行特征提取和融合,得到含有深层结构和局部信息的特征词向量,将句子向量与特征词向量融合在一起得到新向量。最后,新向量经过softmax激活层后,输出结果。在实验结果中,以F1值、准确率、召回率为评价标准,在THUCNews长文本中,这些指标分别达到了98.41%,98.44%,98.41%。同时,该模型在短文本分类中也取得了很好的成绩。