基于胶囊网络的多标签罪名预测

针对罪名预测任务中存在的数据不平衡,罪名预测效果不理想的问题,提出了基于胶囊网络的多标签罪名预测模型。使用双向门控循环神经网络与卷积神经网络的并行混合模型提取胶囊网络的初始特征,即提取数据的时序特征和语义特征,提高胶囊网络提取初始特征的能力,然后使用动态路由进行迭代运算提取深层次的空间的信息;在损失函数中引入权值信息,解决因数据不平衡而导致的低频数据训练不足的问题。仿真结果表明,相比其它经典深度学习模型,上述模型有较好的罪名预测效果,能够解决数据不平衡与罪名预测效果不理想的问题。

基于预训练模型的命名实体识别研究

目前中文命名实体识别存在的主要的问题有:实体的边界模糊,实体边界和非实体之间也存在边界模糊问题,并且在小数据集下模型识别效果不明显。为了解决以上问题,通过加强对文本上下文语义特征的提取能力,使模型能够根据上下文语义特征来精准地推测出实体,提出一种BERT_Bi LSTM_CRF的模型,BERT可以根据文本上下文信息,使每个词在文本语义中对应一个低纬的稠密的词向量,Bi LSTM可以捕获时序特征,并且使用CRF来对输出标签的顺序进行约束。经实验表明,使用预训练模型获取的动态词向量比随机初始化的词嵌入有显著提高。