基于ALBERT-BIGRU的情感分析模型

针对预训练模型BRET所面临的模型复杂、参数规模大带来的训练难度提升问题,提出一种基于ALBERT(A Little BERT)的情感分析模型ALBERT-BiGRU-attention-CRF。在online_shopping_10_cats网络购物评论数据集上取得了93.58%的F1值,同传统BiGRU-CRF等情感分析模型相比均有所提升,同BERT模型相比在P值上提升0.61%,且缩短将近一半运行速度时间。实验结果最终表明该模型在缩减模型参数需求,增加运行效率的同时能有效保留类似BERT模型的模型表现。