基于多粒度信息编码和联合优化的篇章级服务事件序列抽取方法

篇章级别的服务事件序列抽取任务旨在发现给定服务的相关文本中所有服务事件的顺序序列关系,构建得到一组按照服务事件发生顺序排列的服务事件集合,其研究可以广泛应用于知识图谱构建、自动问答等任务.与该任务相关的现有工作分过程抽取和事件时序关系抽取两类:过程抽取相关研究默认事件真实发生的顺序与文本描述的顺序一致,忽略了许多非过程性文本中事件发生的顺序与文本描述顺序不一致的情况;.事件时序关系抽取的相关研究往往关注事件对之间的时序关系判断,无法建模所有事件的顺序序列关系.针对以上问题,提出一种基于多粒度信息编码和联合优化的篇章级服务事件序列抽取方法,使用多粒度信息编码模块获得服务文本中具有丰富语义信息的服务事件向量表示,再利用联合优化模块提取服务事件之间的顺序序列关系,得到篇章级别的服务事件序列.由于没有公开数据集可以直接用于服务事件序列抽取任务的评估,抽取基于事件时序关系抽取的公开数据集TimeBank(TB),AQUAINT(AQ),Platinum(PL)和MATRES中的数据,构建了可用于篇章级服务事件序列抽取任务评估的数据集,实验结果证明了提出方法的有效性.

基于多粒度交互推理的答案选择方法研究

预训练语言模型已经广泛应用于不同自然语言处理任务,其蕴含的自注意力机制能够在“文本对子”之上形成统一的语义编码表示,从而使BERT模型的输入结构和运算模式理论上适用于处理“目标问题和候选答案”样本。然而,直接应用BERT等语言模型将面临两种局限性:①BERT并不侧重词块、短语和子句的独立语义信息表示,使得文本在匹配过程中往往错失不同颗粒度语义相关性的感知;②BERT中的多头注意力机制不能在不同粒度的语义结构之间计算交互强度(相关性)。针对上述问题,该文提出一种基于BERT的多粒度交互推理网络,该方法将问题与候选答案的语言信息进行多粒度语义编码,丰富了句子间的语义信息与交互性。此外,该文提出句子级的编码损失策略,借以提高编码过程对关键子句的加权能力。在WPQA数据集上的实验结果显示,该方法有效提高了非事实性问题的答案选择性能。

融入案件辅助句的低频和易混淆罪名预测

由于低频罪名数据量较少和易混淆罪名案情描述相似等原因,导致低频和易混淆罪名预测效果不佳.为了解决此类问题,通过构建案件辅助句,提出一种基于双向互注意力机制的案件辅助句融合方法,实现罪名预测.主要包括以下3部分:首先,基于司法领域知识构建案件辅助句,将案件辅助句作为案情描述和罪名之间的映射知识;然后,基于词级和字符级表征分别提取案情描述与案件辅助句多粒度特征;同时,借助案件辅助句与案情描述双向注意机制,获得具有辅助句倾向性的案情描述表征,并最终实现低频和易混淆罪名的预测.基于中国刑事案件公共数据集的实验结果表明:所提方法在F1值最大提升13.2%,准确率最大提升4.5%,低频罪名预测F1值提升4.3%,易混淆罪名预测F1值提升8.2%,所提算法显著地提升了低频和易混淆罪名的预测性能.