基于ERNIE_BiGRU模型的中文医疗文本分类

【目的】探究ERNIE模型(Enhanced Language Representation with Informative Entities)和双向门限循环单元(Bi GRU)在医疗疾病名称科室分类中的效果及差异。【方法】以医疗疾病名称为训练样本,以BERT(Bidirectional Encoder Representation from Transformers)为对比模型并在模型之后加入不同网络层进行训练探究。【结果】ERNIE模型在分类效果上优于BERT模型,精度约高4%,其中精确度可达79.48%,召回率可达79.73%,F1分数可达79.50%。【局限】仅对其中的八个科室进行分类研究,其他类别由于数据量过少而未纳入分类体系中。【结论】ERNIE-BiGRU分类效果较好,可应用于医疗导诊系统或者卫生统计学中。

基于BERT的民事相关问答问句分类

[目的]针对当前民事问句数据集不完全以及法律问答问句分类模型中存在无法利用语境信息或难以学习到复杂语句表示的问题,构建了基于BERT的问句分类模型。[方法]通过爬取的6万人工标记的民事相关问句作为分类的训练样本,构建了基于BERT-Base-Chinese的民事相关问句分类模型进行分类研究,并与SVM方法做对比基准。[结果]基于BERT的民事相关问句分类模型的分类效果均优于SVM方法,精准率和F1值分别达到0.978和0.973,F1值比SVM方法高出25.5%。[局限]仅对法律领域下的民事类别做了分类实验,没有将法律全部领域纳入。[结论]基于BERT的问句分类方法能够显著提高民事相关问句的分类效果,可以作为民事问答系统的问句分类模型。