国内外语义出版实践研究

本文介绍多种国内外重要语义出版机构/平台的实践进展,并从数字资源描述模型、语义知识增强形态、语义出版发布形式三方面对其进行比较分析,对比国内外语义出版的发展现状,总结现有实践研究的共性特征及其存在问题,并探讨我国科技期刊语义出版模式的发展对策,以期为我国语义出版的研究和实践提供参考。

学术论文学科领域层次标签分类方法

针对学术论文在学科领域内进行层次标签分类问题,提出了一种基于知识增强的语义表示与图注意力网络的文本层次标签分类(text hierarchical label classification based on enhanced representation through knowledge integration and graph attention networks, GETHLC)模型。首先,通过层次标签抽取模块提取学科领域下层次标签的结构特征,并通过预训练模型对学术论文的摘要、标题和抽取后的层次标签结构特征进行嵌入;然后,在分类阶段基于层次标签的结构分层构造层次分类器,将学术论文逐层分类至最符合的类别中。在大规模中文科学文献数据集CSL上进行的实验结果表明,与基准的ERNIE模型相比,GETHLC模型的准确率、召回率和F1值分别提升了5.78、4.31和5.02百分点。

基于ERNIE和双重注意力机制的微博情感分析

针对传统词向量无法在上下文中表示词的多义性,以及先验的情感资源未能在神经网络中得到充分利用等问题,提出一种基于知识增强语义表示(Enhanced Representation through Knowledge Integration,ERNIE)和双重注意力机制(Dual Attention Mechanism,DAM)的微博情感分析模型ERNIE-DAM.首先利用现有的情感资源构建一个包含情感词、否定词和程度副词的情感资源库;其次采用BLSTM网络和全连接网络分别对文本和文本中包含的情感信息进行编码,不同的注意力机制分别用于提取文本和情感信息中的上下文关系特征和情感特征,并且均采用ERNIE预训练模型获取文本的动态特征表示;最后将上下文关系特征和情感特征进行拼接融合,获取最终的特征向量表示.实验结果表明,新模型在COAE2014和weibo_senti_100k数据集上的分类准确率分别达到了94.50%和98.23%,同时也验证了将情感资源运用到神经网络中的有效性.

人大报告内容的文本分类

针对区级人大报告特定的几方面内容进行文本分类,可以让人大工作人员对不同工作内容进行快速分辨,是构建人大报告辅助生成系统的必要内容。为对不同内容分类,基于TF-IDF(词频-逆文档频率)与知识增强语义表示模型ERNIE(enhanced representation from knowledge integration)结合构建分类模型。ERNIE直接对语义知识单元进行建模,在此基础上加入TF-IDF提升模型性能。实验结果表明,该方法在分类的准确率和召回率上表现不错,使ERNIE模型收敛速度加快,通过该模型可以较好地对人大报告的文本进行分类。

基于ERNIE和CNN的在线评论情感分析模型

针对用户提交的商品评论内容与情感标记存在不一致的现象,提出了一种基于知识增强的语义表示(ERNIE)与卷积神经网络(CNN)的在线评论情感分析模型ECN,对评论文本进行情感倾向划分。首先,利用ERNIE预训练模型生成基于上下文信息的文本向量表示;然后,通过多通道CNN模型对文本向量进行特征提取;最后,利用Softmax进行文本情感分类。在两个数据集上的实验结果表明,ECN模型的情感分类准确率、召回率及F1值均达到91%以上。与CNN、双向长短时记忆(BiLSTM)网络、ERNIE相比,ECN模型的情感分类效果更好。采用ECN模型对商品评论文本自动划分情感类别,能够更客观地反映消费者的情感倾向,对商家及其他消费者更具有指导意义。

基于ERNIE的命名实体识别

针对深度学习方法处理命名实体识别任务时,经典的词向量表示只能将其映射为单一向量,无法在上下文中表示出字的多义性这一问题,提出ERNIE-BiGRU-CRF模型,该模型通过知识增强语义表示ERNIE预训练模型增强字的语义感知表示。引入多元数据知识生成语义向量,然后将字向量输入到GRU层提取特征,最后通过CRF层得到标签序列。实验结果表明,该模型在人民日报语料库中F1值达到了94.46%。

基于ERNIE-BiGRU模型的中文文本分类方法

针对新闻文本分类方法中词向量的表示无法很好地保留字在句子中的信息及其多义性,利用知识增强的语义表示(ERNIE)预训练模型,根据上下文计算出字的向量表示,在保留该字上下文信息的同时也能根据字的多义性进行调整,增强了字的语义表示。在ERNIE模型后增加了双向门限循环单元(BiGRU),将训练后的词向量作为BiGRU的输入进行训练,得到文本分类结果。实验表明,该模型在新浪新闻的公开数据集THUCNews上的精确率为94.32%,召回率为94.12%,F 1值为0.9422,在中文文本分类任务中具有良好的性能。

基于ERNIE_BiGRU模型的中文医疗文本分类

【目的】探究ERNIE模型(Enhanced Language Representation with Informative Entities)和双向门限循环单元(Bi GRU)在医疗疾病名称科室分类中的效果及差异。【方法】以医疗疾病名称为训练样本,以BERT(Bidirectional Encoder Representation from Transformers)为对比模型并在模型之后加入不同网络层进行训练探究。【结果】ERNIE模型在分类效果上优于BERT模型,精度约高4%,其中精确度可达79.48%,召回率可达79.73%,F1分数可达79.50%。【局限】仅对其中的八个科室进行分类研究,其他类别由于数据量过少而未纳入分类体系中。【结论】ERNIE-BiGRU分类效果较好,可应用于医疗导诊系统或者卫生统计学中。