融合概念对齐信息的中文AMR语料库的构建

作为一种新的句子语义表示方法,抽象语义表示(AMR)将一个句子抽象为单根有向无环图,目前已经建立了较大规模的英文语料库。然而,句子中的词语和AMR图的概念对齐信息缺失,使得自动分析效果和语料标注质量受到影响,同时中文尚无较大规模的AMR语料库。该文介绍了中文AMR语料库的构建工作,针对汉语特点调整了AMR的标注体系,增加对复句关系的标注,提出了融合概念对齐的一体化标注方案,解决了中英文输入法频繁切换的问题,增加了错别字纠正和未标注词高亮功能,提高了标注效率。然后,从CTB中选取了6 923句进行人工标注,形成中文AMR语料库,统计得到图和环的比例分别为48%和1%,以及利用对齐信息才能获取的非投影句的比例32%,为中文AMR的理论和自动分析研究奠定基础。

基于加权AMR图的语义子图预测摘要算法

方法多数停留在挖掘词与词之间的浅层语义关系,没有很好地利用词句之间的完整语义信息,为此,提出一种改进的语义子图预测摘要的算法。将原始文本转化为相应的抽象语义表示(AMR)图,融合成一个AMR总图,基于WordNet语义词典对其进行冗余信息的过滤。在此基础上利用综合统计特征对不具有权值的AMR图节点赋予权值,通过筛选重要性程度高的部分构成语义摘要子图,并基于ROUGE指标和Smatch指标综合衡量生成摘要的质量。实验结果表明,与仅挖掘浅层语义关系的文本摘要基准算法相比,该算法ROUGE值和Smatch值明显提高。

基于多任务预训练的AMR文本生成研究

抽象语义表示(abstract meaning representation,简称AMR)文本生成的任务是给定AMR图,生成与其语义一致的文本.相关工作表明,人工标注语料的规模大小直接影响了AMR文本生成的性能.为了降低对人工标注语料的依赖,提出了基于多任务预训练的AMR文本生成方法.特别地,基于大规模自动标注AMR语料,提出与AMR文本生成任务相关的3个预训练任务,分别是AMR降噪自编码、句子降噪自编码以及AMR文本生成任务本身.此外,基于预训练模型,在朴素微调方法的基础上,进一步提出了基于多任务训练的微调方法,使得最终模型不仅适用于AMR文本生成,同时还适用于预训练任务.基于两个AMR标准数据集的实验结果表明:使用0.39M自动标注数据,提出的预训练方法能够大幅度提高AMR文本生成的性能,在AMR2.0和AMR3.0上分别提高了12.27和7.57个BLEU值,性能分别达到40.30和38.97.其中,在AMR2.0上的性能为目前报告的最优值,在AMR3.0上的性能为目前为止首次报告的性能.

AMR文本生成的数据扩充方法

在抽象语义表示(AMR)文本生成过程中,AMR图到文本形式的转换在很大程度上受语料规模的影响。提出一种简单有效的动态数据扩充方法,在已标注数据集规模有限的情况下提高AMR文本生成性能。将AMR文本生成模型解码端视作一个语言模型,使用单词级别的扩充方法,通过动态地对目标端单词进行随机替换,得到带噪声的数据,从而增强模型的泛化能力。在加载数据时,随机选择目标句子中的部分单词做噪声化处理,利用约束编码器预测被覆盖的单词并还原出原始语句,使模型具有更深层的语言表征能力。基于AMR2.0和AMR3.0英文标准数据集进行实验,结果表明,该方法可有效提升AMR文本生成系统性能,与未引入噪声的基准Transformer模型相比,能够获得更优的BLEU、Meteor和chrF++指标,其中BLEU值在人工标注语料场景下分别提升0.68和0.64,且在大规模自动标注语料场景下也能提升0.60和0.68。

基于图卷积神经网络和RoBERTa的物流订单分类

订单信息贯穿于物流供应链的所有环节,高效的订单处理是保障物流服务质量和运营效率的关键。面对日益增长的差异化客户物流订单,人工对订单分类费时、低效,难以满足现代物流要求的效率标准。为了提升物流订单分类的性能,该文提出了一种基于图卷积神经网络(graph convolution network,GCN)和RoBERTa预训练语言模型的订单分类方法。首先,基于物流订单文本的抽象语义表示(abstract meaning representation,AMR)结果和关键词构建全局AMR图,并使用图卷积神经网络对全局AMR图进行特征提取,获取订单文本的全局AMR图表示向量;其次,基于AMR算法构建物流订单文本分句的局部AMR图集合,然后使用堆叠GCN处理图集合得到订单文本局部AMR图表示向量;再次,使用RoBERTa模型处理物流订单文本,得到文本语义表示向量;最后,融合三种类型的文本表示向量完成物流订单分类。实验结果表明:该方法在多项评价指标上优于其他基线方法。消融实验结果也验证了该分类方法各模块的有效性。

基于整数线性规划重构抽象语义图结构的语义摘要算法

针对利用抽象语义(AMR)图来预测摘要子图存在的语义结构不完整问题,该文提出一种基于整数线性规划(ILP)重构AMR图结构的语义摘要算法。首先将数据预处理生成一个AMR总图;然后基于统计特征从AMR总图中抽取出摘要子图重要节点信息;最后利用ILP的方法来对摘要子图中节点关系进行重构,利用完整的摘要子图恢复生成语义摘要。实验结果表明,相比其他语义摘要方法,所提方法的ROUGE值和Smatch值都有显著提高,最多分别提高了9%和14%,该方法有利于提高语义摘要的质量。

基于篇章级语义图的对话一致性检测

【目的】通过融合包含共指链以及抽象语义表示等语义信息的对话篇章级语义图,提高对话一致性检测的准确性。【方法】首先,利用预训练语言模型BERT编码对话上下文和知识库;其次,构建包含共指链和抽象语义表示等语义信息的对话篇章级语义图,利用多关系图卷积神经网络捕获语义图中的语义信息;最后,构建多个分类器预测多种对话不一致现象。【结果】基于CI-ToD基准数据集,与现有对话不一致检测模型进行实验对比,本文模型在F1值或准确率指标上较之前的最优模型取得0.01以上的提升。【局限】所提模型不能很好地处理对话中存在的共指实体省略问题。【结论】融合共指链以及抽象语义表示等多种类别的语义信息能够有效提升对话一致性检测的效果。