基于SBERT与少量标注样本的文档查重句子相似度评估技术

文档查重是自然语言处理领域中的一项重要应用。准确评估句子相似度,对生成高质量的文档查重报告具有重要意义。但目前主流的句子相似度计算方法得到的相似度值较为集中,结果无法直接应用于查重报告。为了改进这一问题,本文提出一种基于SBERT与少量标注样本的句子相似度评估技术,利用SBERT构造句子对特征向量,利用少量人工标注的句子对相似度构造监督学习任务,确保模型能够更好地捕捉句子间的相似性。在某公司科技项目文档数据集上的实验结果表明,本文方法与句子相似度人工标注结果更为接近,在评估句子相似度方面优于传统方法。