基于知识图谱联合ERNIE-DPCNN模型的药品不良反应自动关联性评价方法研究

目的 针对当前药品不良反应关联性评价存在的效率较低和主观性评估问题,通过建立药品不良反应关联性评价模型,探索药品不良反应自动关联性评价方法。方法 利用文献及互联网来源,对获取的不良反应报告标注数据(7 301条)进行知识抽取,构建药品不良反应知识图谱,建立知识驱动的ERNIE-DPCNN自动关联性评价模型。结果 提出的知识图谱联合ERNIE-DPCNN模型在测试集中的精确度、召回率和F1值分别达到82.18%、81.40%、81.21%,相对于其他基线模型各项评估指标均取得了最高值。结论 知识图谱联合ERNIE-DPCNN模型的方法能提高药品不良反应关联性评价效率,具备较强的准确性,并在一定程度上减少主观性评估误差,对基于人工智能的自动化评价有一定参考价值。

基于ERNIE-BiLSTM-DPCNN的微博长文本谣言检测

为了实现对于微博长文本谣言的检测,使用ERNIE模型对微博长文本数据使用词嵌入技术实现对文本的向量化,将这些词向量作为BiLSTM-DPCNN模型的输入,利用BiLSTM-DPCNN模型的特性,捕捉句子中的上下文信息和长期依赖关系,最终高效地提取特征并进行分类.数据集通过五折交叉验证方法划分,通过设置多组对比实验,实验结果显示:ERNIE-BiLSTM-DPCNN模型的准确率达到98.52%,高于在同一数据集下的其他同组实验,证明该模型对于微博长文本谣言检测具有较好的效果.

基于层级特征和DPCNN的文本数据治理方法

大规模文本的数据划分是数据治理中的关键问题,而传统的中文文档建模方法容易忽视上下文语义关系和文档层级结构。针对以上问题提出一种基于层级特征和DPCNN的文本数据治理方法。该方法首先通过BERT模型抽取文本的层次特征信息,然后将结合全文信息的向量传入DPCNN模型中;经过金字塔型池化层后,最终通过全连接层进行数据划分。该方法能够有效提高特征稀疏文本数据的预测准确率。

基于ERNIE+DPCNN+BiGRU的农业新闻文本分类

针对农业新闻目前面临的针对性差、分类不清和数据集缺乏等问题,提出一种基于ERNIE(Enhanced Representation through kNowledge IntEgration)、深度金字塔卷积神经网络(DPCNN)和双向门控循环单元(BiGRU)的农业新闻分类模型——EGC。首先利用ERNIE对数据集进行编码,然后利用改进后的DPCNN和BiGRU同时提取新闻文本的特征,再将两者提取的特征进行拼合并经过Softmax得到最终结果。为了使EGC模型适用于农业新闻分类领域,对DPCNN进行改进,减少它的卷积层以保留更多特征。实验结果表明,与ERNIE相比,EGC模型的精确率、召回率和F1分数别提升了1.47、1.29和1.42个百分点,优于传统分类模型。

基于改进ERNIE-DPCNN模型的中文文本分类

利用自然语言处理中一种基于字向量的增强语言表征模型--ERNIE,通过随机隐藏部分字、词组、实体语义单元,预测上下文实现语言表征,并将ERNIE预训练模型输出的词向量输入到改进的DPCNN模型,形成改进的ERNIE-DPCNN模型,用于中文文本分类.通过实例将改进的ERNIE-DPCNN模型与ERNIE、BERT、BERT-DPCNN、ERNIE-CNN、ERNIE-RNN、ERNIE-DPCNN 6类模型在准确率、精确率、召回率、运行时间等指标上进行对比,结果表明,改进的ERNIE-DPCNN模型均优于其他模型.

基于DPCNN模型与语句特征融合的汉语因果类复句关系自动识别

汉语复句关系识别是对复句语义关系的识别,复句关系类别的自动识别对促进语言学和中文信息处理的研究有重要的价值。因果类复句是使用频率最高的复句,文中以二句式有标广义因果复句为研究对象,使用语言技术平台LTP进行依存句法分析,获得词性、依存父节点的词序、与父节点的依存关系等特征,将特征的不同组合与预训练的词向量拼接,得到新的向量,将新的向量输入到DPCNN模型中来进行关系类别识别。通过实验对提出的方法进行检验,实验结果显示:与未融合任何特征相比,DPCNN模型中融合语句特征使实验结果的指标均有提升,表明融合语句特征能取得更好的识别效果。在各种特征组合中,融合POS特征组合得到的准确度和F_(1)值最高,分别为98.41%,98.28%。

基于多卷积核DPCNN的维吾尔语文本分类联合模型

由于维吾尔语形态丰富且资源匮乏,因此直接使用现有的深度学习模型并不能很好地完成文本分类任务。基于此,该文提出了MDPLC文本分类模型,即首先将预先训练的词向量和经Bi-LSTM处理得到的语义信息进行融合,进而得到全句语义依赖,然后通过组合池化的CNN进一步加强局部语义学习,同时以双通道的方式使用多卷积核DPCNN捕获文本语义信息,最后融合两种模型提取到的信息完成文本分类任务。为验证该模型的有效性,该文分别采用中文、英文和维吾尔文短、长文本数据集进行实验,实验结果表明,该模型在多个分类任务中取得的性能都高于现有主流深度学习模型,验证了该模型在不同语种、语义表达稀疏和语义丰富各种情况下的鲁棒性。

一种基于BERT和DPCNN的Web服务分类方法

Web服务是一种基于Web环境的具有自适应、自描述、模块化和互操作能力的应用程序,这些特点使其具有很好的重用性。软件重用是目前降低软件开发成本的一种颇具前景的方法,Web服务的自动分类在软件重用中起着至关重要的作用。近年来人们将机器学习技术广泛应用于服务分类,取得了一些成果。但是传统机器学习方法的性能高度取决于特征工程的质量。本文提出一种基于预训练模型BERT和深度金字塔卷积神经网络DPCNN相结合的BERT-DPCNN深度神经网络模型,该模型可以自动抽取服务描述的低级表现形式并抽象为高级特征而无需进行特征工程。为了验证该方法的有效性,本文在50个类别、10184个真实Web服务的数据集上与传统的机器学习方法和一些深度神经网络模型进行全面比较,结果表明,本文提出的模型相比其他方法具有更高的准确率。

基于BERT和DPCNN的电商客服对话意图分类

针对消费者在与电商客服对话过程中的意图分类问题,提出了一种基于BERT词嵌入结合DPCNN模型及自注意力机制的BDCA深度学习算法。该算法采用BERT模型作为用户意图文本的词嵌入层进行预训练的词向量表示,借助DPCNN模型结构获得文本更全局的特征,同时结合自注意力机制和卷积神经网络提取文本的关键词特征,最后拼接融合两组特征输入到Softmax分类器进行分类。通过与TextCNN、BiGRU等语言模型在测试集上的对比实验,验证了该算法在电商客服对话意图分类上的有效性。

基于BERT_DPCNN文本分类算法的垃圾邮件过滤系统

近年来,研究表明垃圾邮件已经出现在私人邮箱中,严重扰乱了用户体验。这也已成为各大通信公司的优先研究事项。基于传统的机器学习算法垃圾邮件过滤模型已经得到了充分的研究。随着研究人员在自然语言处理方面的深入研究,深度学习算法及其构建的模型表现效果远强于传统机器学习模型。本文基于现有的各类分类模型进行了研究及比较,讨论了如何对垃圾邮件数据集进行识别,并建立了BERT_DPCNN模型,以改进对电子邮件这种具有独特特征文本的识别方法。本文使用DPCNN作为垃圾邮件分类器,使用BERT预训练模型得到的文本向量作为DPCNN模型的输入,以此加强模型的分类效果,有助于提取到更多的语义信息,以此避免出现深度神经网络梯度消失所带来的问题。根据模型的召回率、准确率和F1指数,BERT_DPCNN模型可以比其他模型更有效地识别垃圾邮件。此外,从实验数据中可以看出,一些涉及深度模型的特征提取方法,如本文中的BERT模型,比基于word2vec的特征提取方法具有更明显的优势。本文构建的BERT_DPCNN模型可以存储更多的语义环境信息,为文本分类提供更多的基础,并提取更深层次的文本特征。它是一个具有最佳整体性能的模型,对垃圾邮件过滤具有重要价值。

基于ERNIE-SA-DPCNN的文本分类研究--以涉网新型犯罪案件文本为例

近年来自然语言处理领域发展迅猛,文本分类任务作为其中的基本任务出现了重大突破,但并未辐射到公安工作实务之中。目前文本分类领域以采用基于统计和概率的模型为主,但是相比于使用大量语料训练的预训练模型,其分类效果并不理想。文章采取预训练ERNIE作为特征提取模型,并以SA-Net结合ERNIE模型中的注意力机制,最后以DPCNN作为深度学习网络形成ERNIE-SA-DPCNN算法。实验证明,ERNIE-SA-DPCNN在涉网新型犯罪案件案情文本分类任务上的表现优于其他模型。

基于ERNIE-DPCNN模型的地址清洗匹配方法研究

大规模地址数据的词向量特征维度较高,导致地址清洗过程中存在一定的误差。为此,文章研究了基于ERNIE-DPCNN模型的地址清洗匹配方法。该方法利用数据准备层获取地址街道、POI等地址数据后,将其传输至逻辑计算层内;逻辑计算层使用ERNIE-DPCNN模型获取地址词向量特征,然后对该地址词向量特征进行地址分词匹配处理;将地址分词匹配结果输入到地址匹配引擎层内,生成行政区、街道等门牌索引;应用层使用Web服务器通过行政区、街道等门牌索引获取地址清洗匹配结果。实验结果表明:该方法可有效对地址数据字段进行清洗,最大程度地保留地址数据字段特征。该方法能在保证地址匹配结果较为精确的同时匹配到地址的行政区划分,应用效果较好。

基于ERNIE和DPCNN的科技文献摘要结构要素识别

【目的】构建一种高效的科技文献摘要结构要素识别模型,实现对一段式摘要的结构要素识别。【方法】以知识增强语义表示模型(ERNIE)对科技文献的摘要文本进行表征,通过深度金字塔卷积神经网络(DPCNN)进行文本特征抽取,构建科技文献摘要结构要素识别模型。【结果】所构建的模型在图书情报领域数据集上识别文献摘要结构要素的精确率、召回率、F1宏平均值均高于0.95,比基准模型具有更好的识别性能。【局限】使用的语料具有一定的领域倾向,模型的领域通用性还有待验证。【结论】构建的模型可以更好地对文本特征进行抽取,有效提升了科技文献摘要结构要素的识别性能。

基于ERNIE及改进DPCNN的棉花病虫害问句意图识别

针对目前没有公开的棉花病虫害相关问句数据集且问句较短、类型多样等问题,本研究通过查阅文献及咨询相关领域专家,构建了棉花病虫害问句数据集CQCls,定义了78种棉花病虫害实体和9种问句类型;同时提出了一种基于ERNIE预训练模型的棉花病虫害问句意图识别模型,首先通过ERNIE模型将输入问句映射到向量空间,使用融合词位置信息的DPCNN模型进行特征向量的抽取,与基础的DPCNN模型相比,通过融合词位置信息能有效提高模型的表达能力,然后经过Softmax得到最终结果。实验结果表明,本研究提出的意图识别模型相较于其他模型取得了较好的结果,宏平均和加权平均的F1分数值分别为97.45%和97.31%;在文本语料数据内容复杂多样且文本格式不规范的DMSCD数据集上,训练结果中不同类别的F1分数的权重平均也能达到73.42%,进一步证明了该模型的有效性及泛化能力。

基于DPCNN的无向赋权图的最小生成树的求解

利用脉冲耦合神经网络(PCNN,Pulse Coupled Neural Network)的脉冲波并行传播特性,在其时延脉冲耦合神经网络(DPCNN,Delay PCNN)的基础上提出了一种求解无向赋权图最小生成树的新算法.算法针对最小生成树的权值总和最小且连通的性质,结合时延脉冲耦合神经网络脉冲波的并行传播,通过求解无向赋权图的最短路径并对其连通性进行判断,采用迭代的方法,成功地求解了无向赋权图的最小生成树.最后给出了仿真实验,证明了该方法的有效性,与传统算法比较有一定的优势.

BERT-DPCNN模型在网络舆情情感分析中的应用

近年来,利用技术手段实现对海量的网络舆情信息进行深度挖掘与分析成为研究热点,产生了诸多应用方法。针对“新冠疫情”引发的网络舆情,本文通过实例对比分析了BERT-DPCNN模型和多个深度神经网络模型在网络舆情情感分析上的有效性。对比结果表明,BERT-DPCNN模型在准确率、Macro_AUC和Micro_AUC等方面比其他模型均表现更好,能够更加准确的捕捉网络舆情情感,为监测网络舆情、快速应对舆情危机提供了技术支持。

CCM-MF:基于多维度特征融合的中文文本分类模型

针对中文文本中不同维度特征所携带的语义信息具有差异性的问题,本文提出一种基于多维度特征融合的中文文本分类模型:CCM-MF(Chinese-text Classification Model Based on FusedMulti-dimensional Features)。该模型融合层次维度和空间维度特征,以提高中文文本分类的准确率。首先,在层次维度上,使用预训练模型ERNIE(Enhanced Representation through Knowledge Integration)获取包含字、词及实体级别特征的词向量;然后,在空间维度上,将包含层次维度特征的词向量分别输入到改进后的深度金字塔卷积神经网络(Deep Pyramid Convolutional Neural Networks,DPCNN)模型及附加注意力机制的双向长短期记忆网络(Attention-Based Bidirectional Long Short-Term Memory Networks,Att-BLSTM)模型中,得到局部语义特征和全局语义特征;最后,将得到的空间维度特征分别作用于Softmax分类器,再对计算结果进行融合并输出分类结果。通过在多个公开数据集上进行实验,较现有主流的文本分类方法,本模型在准确率上有更好的表现,证明了该模型的有效性。

基于预训练模型融合深层特征词向量的中文文本分类

为解决传统模型表示出的词向量存在序列、上下文、语法、语义以及深层次的信息表示不明的情况,提出一种基于预训练模型(Roberta)融合深层特征词向量的深度神经网络模型,处理中文文本分类的问题。通过Roberta模型生成含有上下文语义、语法信息的句子向量和含有句子结构特征的词向量,使用DPCNN模型和改进门控模型(RGRU)对词向量进行特征提取和融合,得到含有深层结构和局部信息的特征词向量,将句子向量与特征词向量融合在一起得到新向量。最后,新向量经过softmax激活层后,输出结果。在实验结果中,以F1值、准确率、召回率为评价标准,在THUCNews长文本中,这些指标分别达到了98.41%,98.44%,98.41%。同时,该模型在短文本分类中也取得了很好的成绩。

基于ERNIE和融合双通道特征的文本情感分类模型

针对传统词向量模型无法获取完整的语义表达,以及基础神经网络模型未能兼顾提取多种关联特征等问题,提出了一种融合预训练语言模型(ERNIE)和深层金字塔神经网络结构(DPCNN)/双向门控循环单元-注意力机制(BiGRU-Attention)的双通道文本情感分类模型。基于DPCNN的左通道负责提取文本长距离依赖表示,基于BiGRUAttention的右通道负责提取文本时间序列特征和关键信息。此外,均使用ERNIE模型提供动态字向量。最后,拼接融合双通道中的信息特征以获取最终的文本表示。实验结果表明,ERNIE-DBGA模型的准确率最高达到97.05%,优于其他对比方法,验证该模型可以有效提升情感分类的性能。

基于用户行为特征的微博谣言检测

众多谣言在公开社交平台微博上肆意产生与传播,谣言检测有利于降低谣言对社会产生的不良影响。为探究微博用户的行为特征与该用户发布谣言的关联,提出一种基于用户行为特征的微博谣言检测算法(RDUC)。该模型主要以用户的点赞、转发和评论等行为特征作为主要参数,挖掘用户历史行为与谣言发布的关联,并且将ERNIE模型和DPCNN模型相结合对微博谣言事件进行检测。通过使用Ma公开数据集进行实验并与3种常用的谣言检测算法比较得出:该算法的准确率高达90.1%,高于这3种常用谣言检测算法。因此RDUC算法具有实际意义和应用价值。