基于BERT和多相似度融合的句子对齐方法研究

【目的】实现双语句子的自动对齐,为构建双语平行语料库、跨语言信息检索等自然语言处理任务提供技术支持。【方法】将BERT预训练引入句子对齐方法中,通过双向Transformer提取特征,每一个词汇由位置嵌入向量、单词嵌入向量、句子切分嵌入向量三种向量叠加表征词汇的语义信息,进而对源语言与译文、目标语言与译文实施双向度量,融合BLEU得分、余弦相似度和曼哈顿距离三种相似度进行句子对齐。【结果】通过两种任务验证方法的有效性。在平行语料库过滤任务中,召回率为97.84%;在可比语料过滤任务中,当噪声比率分别为20%、50%、90%时,精确率依次为99.47%、98.31%、95.00%。【局限】文本向量化与相似度计算方法可以采用更具有语义表征的方式进行改进。【结论】本方法在平行语料过滤和可比语料过滤两个任务中均优于基线系统,能够获得大规模、高质量的平行语料。

军事知识图谱的构建和检索方法研究

针对军事信息系统中的信息过载现象,为了提高军事领域信息利用效率,提出了一种基于军事知识图谱的语义检索方法。首先,针对军事文本的特点,在基于转换器的双向编码器表示—条件随机场(bidirectional encoder representation from transformers-conditional random field, BERT-CRF)模型基础上添加了校对处理层,提升了军事实体的识别效率,构建了更全面的面向军事领域的知识图谱;然后,使用多相似度融合的语义计算方法对其进行语义分析;最后对检索结果进行相关性排序。实验结果表明该方法的查全率和查准率分别达到了85.68%和85.74%,能够满足军事领域下的信息检索要求。