-
题名基于BERT-BiGRU模型的文本分类研究
被引量:5
- 1
-
-
作者
王紫音
于青
-
机构
天津理工大学天津市智能计算与网络安全重点实验室
天津理工大学计算机科学与工程学院
-
出处
《天津理工大学学报》
2021年第4期40-46,共7页
-
基金
国家自然科学基金(71501141)。
-
文摘
文本分类是自然语言处理的典型应用,目前文本分类最常用的是深度学习的分类方法。针对中文文本数据具有多种特性,例如隐喻表达、语义多义性、语法特异性等,在文本分类中进行研究。提出基于编码器-解码器的双向编码表示法-双向门控制循环单元(bidirectional encoder representations from transformers-bidirectional gate recurrent unit,BERT-BiGRU)模型结构,使用BERT模型代替传统的Word2vec模型表示词向量,根据上下文信息计算字的表示,在融合上下文信息的同时还能根据字的多义性进行调整,增强了字的语义表示。在BERT模型后面增加了BiGRU,将训练后的词向量作为Bi GRU的输入进行训练,该模型可以同时从两个方向对文本信息进行特征提取,使模型具有更好的文本表示信息能力,达到更精确的文本分类效果。使用提出的BERT-BiGRU模型进行文本分类,最终准确率达到0.93,召回率达到0.94,综合评价数值F1达到0.93。通过与其他模型的试验结果对比,发现BERT-BiGRU模型在中文文本分类任务中有良好的性能。
-
关键词
文本分类
深度学习
基于编码器-解码器的双向编码表示法(bidirectional
encoder
representations
from
transformers
BERT)模型
双向门控制循环单元(bidirectional
gate
recurrent
unit
BiGRU)
-
Keywords
text classification
deep learning
bidirectional encoder representations from transformers(BERT)
bidirectional gate recurrent unit(BiGRU)
bidirectional gated recurrent unit
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-