-
题名基于领域BERT模型的服务文本分类方法
- 1
-
-
作者
闫云飞
孙鹏
张杰勇
马钰棠
赵亮
-
机构
空军工程大学信息与导航学院
-
出处
《空军工程大学学报》
CSCD
北大核心
2023年第1期103-111,共9页
-
文摘
针对BERT模型领域适应能力较差,无法解决训练数据类别数量不均衡和分类难易不均衡等问题,提出一种基于WBBI模型的服务文本分类方法。首先通过TF-IDF算法提取领域语料中的词汇扩展BERT词表,提升了BERT模型的领域适应性;其次,通过建立的BERT-BiLSTM模型实现服务文本分类;最后,针对数据集的类别数量不均衡和分类难易不均衡问题,在传统焦点损失函数的基础上提出了一种可以根据样本不均衡性特点动态调整的变焦损失函数。为了验证WBBI模型的性能,在互联网获取的真实数据集上进行了大量对比试验,实验结果表明:WBBI模型与通用文本分类模型TextCNN、BiLSTM-attention、RCNN、Transformer相比Macro-F1值分别提高了4.29%、6.59%、5.3%和43%;与基于BERT的文本分类模型BERT-CNN、BERT-DPCNN相比,WBBI模型具有更快的收敛速度和更好的分类效果。
-
关键词
服务分类
文本分类
BERT模型
双向长短时记忆网络(BiLSTM)
焦点损失函数
-
Keywords
service classification
text classification
bidirectional encoder representations from transformers(BERT)model
bidirectional long short-term memory networks(BiLSTM)
focal loss
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名样本不平衡下的空中群组意图识别方法
被引量:4
- 2
-
-
作者
马钰棠
孙鹏
张杰勇
王鹏
闫云飞
赵亮
-
机构
空军工程大学信息与导航学院
-
出处
《系统工程与电子技术》
EI
CSCD
北大核心
2022年第12期3747-3755,共9页
-
基金
国家自然科学基金(61773396)资助课题。
-
文摘
针对样本不平衡情况下空中群组意图识别问题,提出了一种基于注意力机制的双向门控循环单元网络空中群组意图识别方法。将空中群组的状态信息编码成时序特征,利用先验信息封装成样本标签,提出一种改进的边界合成少数过采样方法对少数类样本边界进行处理,以生成合适的样本集。通过双向循环机制提取空中群组目标时序特征的深层信息,并利用注意力机制为深层信息分配权值,以提高网络捕捉更具区分度特征的能力。实验仿真结果表明,所提方法在样本不平衡情况下空中群组的意图识别问题上有更好的分类效果和更高的训练效率。
-
关键词
意图识别
双向门控循环单元
注意力机制
样本不平衡
-
Keywords
intention recognition
bi-gated recurrent unit(BiGRU)
attention mechanism
imbalance samples
-
分类号
E824
[军事—战役学]
-