基于ERNIE-Gram和TinyBERT混合模型的复句关系体系转换

复句关系是指分句间的语义关系。目前关于复句关系的分类体系有很多,复句三分系统与HIT-CDTB分类体系为其代表。对不同分类体系各类别进行相互转换可以为机器翻译等任务提供支持。该文基于预训练模型ERNIE-Gram和TinyBERT,嵌入主成分分析方法,提出一种三阶段复句关系识别混合模型,实现三分系统与HIT-CDTB两种分类体系下复句关系的转换。通过实验检验,复句三分系统到HIT-CDTB以及HIT-CDTB到复句三分系统关系转换的准确率分别达到77.60%、89.17%。

基于迁移学习的陆空通话语义校验方法研究

陆空通话语义校验对于飞行安全意义重大,为解决判断飞行员复诵指令是否与管制员下达指令一致的问题,构建了一种陆空通话语义校验模型——Ernie-Gram-BiGRU-Attention。首先利用Ernie-Gram模块对文本对信息进行编码;使用BiGRU模块对编码后的文本对信息进行进一步的特征抽取得到压缩后句向量;由于陆空通话中关键词信息至关重要,采用注意力机制来实现对关键词特征的信息抽取,采用全连接层将注意力向量与句向量进行特征融合。最后,将融合后的向量与Ernie-Gram模块输出的分类词向量拼接,送入全连接层实现文本对的语义校验。构建的模型在陆空通话文本对数据集上取得了97.1%的准确率,相较于Ernie-Gram基准模型准确率提升了2%,相较于其他基于Bert改进的模型,在精确率、召回率、F1值以及准确率方面均有提高。