基于领域BERT模型的服务文本分类方法

针对BERT模型领域适应能力较差,无法解决训练数据类别数量不均衡和分类难易不均衡等问题,提出一种基于WBBI模型的服务文本分类方法。首先通过TF-IDF算法提取领域语料中的词汇扩展BERT词表,提升了BERT模型的领域适应性;其次,通过建立的BERT-BiLSTM模型实现服务文本分类;最后,针对数据集的类别数量不均衡和分类难易不均衡问题,在传统焦点损失函数的基础上提出了一种可以根据样本不均衡性特点动态调整的变焦损失函数。为了验证WBBI模型的性能,在互联网获取的真实数据集上进行了大量对比试验,实验结果表明:WBBI模型与通用文本分类模型TextCNN、BiLSTM-attention、RCNN、Transformer相比Macro-F1值分别提高了4.29%、6.59%、5.3%和43%;与基于BERT的文本分类模型BERT-CNN、BERT-DPCNN相比,WBBI模型具有更快的收敛速度和更好的分类效果。

样本不平衡下的空中群组意图识别方法

针对样本不平衡情况下空中群组意图识别问题,提出了一种基于注意力机制的双向门控循环单元网络空中群组意图识别方法。将空中群组的状态信息编码成时序特征,利用先验信息封装成样本标签,提出一种改进的边界合成少数过采样方法对少数类样本边界进行处理,以生成合适的样本集。通过双向循环机制提取空中群组目标时序特征的深层信息,并利用注意力机制为深层信息分配权值,以提高网络捕捉更具区分度特征的能力。实验仿真结果表明,所提方法在样本不平衡情况下空中群组的意图识别问题上有更好的分类效果和更高的训练效率。