基于深度学习的合同分类及要素抽取模型

合同文本的智能化处理已成为企业信息化的一个重要需求。针对合同文本存在的凌乱、碎片化和无规则的问题,本文提出了基于深度学习的合同分类模型及要素抽取模型。合同分类从标题分类和文本分类两个方向展开研究,提出了基于注意力机制的BiLSTM模型进行标题分类,基于改进的HAN深度学习模型进行文本分类,有效地提升了文本分类的准确性;针对存在的合同信息难以抽取的问题,提出基于BiLSTM-CRF深度学习模型识别合同要素,以准确获取合同要素信息。实验表明,本文提出模型能够很好地应用在合同文本处理中,能够提升分类和要素抽取的性能。

基于混合排序填充网络的文本到指令序列翻译

本论文主要研究利用语言预训练模型和深度学习来进行文本序列到指令序列的翻译。在文本序列到指令序列翻译的领域内,优势模型按结构划分主要分为2类,一种是端到端模型,另外一种是在编码器和解码器中间引入中间逻辑表示层。与以往的方法不同本文提出了名为混合排序填充网络的新模型。该模型将问题与一列单独组合,利用语言预训练模型获取编码,然后根据选择的模板,划分并填充不同的子任务,生成完整的指令序列。这种方法很好地利用了语言预训练模型的特点避免引入专门的中间语义表示层或者解码器,减少了模型复杂度。在自构建的文本到指令序列数据集上取得了很好的翻译效果,翻译结果的逻辑准确率可达到89.1%。