基于孪生网络和字词向量结合的文本相似度匹配

文本相似度匹配是许多自然语言处理任务的基础,本文提出一种基于孪生网络和字词向量结合的文本相似度匹配方法,采用孪生网络的思想对文本整体建模,实现两个文本的相似性判断.首先,在提取文本特征向量时,使用BERT和WoBERT模型分别提取字和词级别的句向量,将二者结合使句向量具有更丰富的文本语义信息;其次,针对特征信息融合过程中出现的维度过大问题,加入PCA算法对高维向量进行降维,去除冗余信息和噪声干扰;最后,通过Softmax分类器得到相似度匹配结果.通过在LCQMC数据集上的实验表明,本文模型的准确率和F1值分别达到了89.92%和88.52%,可以更好地提取文本语义信息,更适合文本相似度匹配任务.