基于孪生网络和字词向量结合的文本相似度匹配

文本相似度匹配是许多自然语言处理任务的基础,本文提出一种基于孪生网络和字词向量结合的文本相似度匹配方法,采用孪生网络的思想对文本整体建模,实现两个文本的相似性判断.首先,在提取文本特征向量时,使用BERT和WoBERT模型分别提取字和词级别的句向量,将二者结合使句向量具有更丰富的文本语义信息;其次,针对特征信息融合过程中出现的维度过大问题,加入PCA算法对高维向量进行降维,去除冗余信息和噪声干扰;最后,通过Softmax分类器得到相似度匹配结果.通过在LCQMC数据集上的实验表明,本文模型的准确率和F1值分别达到了89.92%和88.52%,可以更好地提取文本语义信息,更适合文本相似度匹配任务.

基于Bert融合词汇的中文命名实体识别

命名实体识别是自然语言处理中一项非常重要的任务,一句话中可以正确理解其中的实体,对于是否能正确理解这句话至关重要,而中文的命名实体识别相比英文更有难度,原因在于中文没有英文中类似空格的边界标示词,且存在复杂的嵌套现象。针对现有的中文命名实体识别方法中大多只利用单一层次的特征这一问题,利用Bert中文预训练集和额外的词汇数据集的融合模型增强词意和中文上下文联系,采用BiGRU网络获取序列特征矩阵,通过条件随机场模型生成全局最优序列,从而提升实体识别准确率。实验结果表明该方法在公开数据集上的效果优于现有模型。

多特征融合的中文短文本分类模型

针对中文短文本的特征提取中存在特征稀疏的局限性,本文提出了一种基于多特征融合的短文本分类模型(Multi-feature fusion model,M FFM).首先,通过字词向量结合的方式构建新的文本表示;其次,通过BILSTM(Bi-directional Long ShortTerm Memory)、CNN(Convolutional Neural Networks)和CAPSNET(Capsule Network)模型对短文本进行不同层面的特征提取,并使用Self-attention模型动态调节各模型特征在最终特征构建中的权重系数.在实验部分,本文用MFFM方法与四个短文本分类经典模型(CNN、BILSTM、CAPSNET和CNN-BILSTM)在三个中文短文本数据集上进行验证,为了进一步验证数据融合(将三个中文短文本数据正负样本融合)对MFFM的影响,实验结果表明MFFM模型性能在四个评价指标(F1、Recall、Precision、Accuracy)下优于对比模型.总之,这可表明M FFM是短文本分类模型的一个有用框架.

融合本体特征的BiLSTM-CRF军事实体识别模型

针对军事实体识别依赖领域知识的特点,提出了融合本体特征的BiLSTM-CRF军事实体识别模型。通过构建军事领域本体,将分词的本体特征作为领域知识融入到词向量中,有效弥补了传统命名实体识别方法的领域知识缺乏问题,且模型加入字向量描述分词的内部形态学特征,避免了分词不准确与未登录词对军事命名实体识别造成的影响,最后采用BiLSTM-CRF模型实现军事命名实体识别工作。实验证明,该军事实体识别模型的准确率达到91.08%,能够有效识别军事实体。