一种消减多模态偏见的鲁棒视觉问答方法

为了增强视觉问答模型的鲁棒性,提出一种偏见消减方法,并在此基础上探究语言与视觉信息对偏见的影响。进一步地,构造两个偏见学习分支来分别捕获语言偏见以及语言和图片共同导致的偏见,利用偏见消减方法,得到鲁棒性更强的预测结果。最后,依据标准视觉问答与偏见分支之间的预测概率差异,对样本进行动态赋权,使模型针对不同偏见程度的样本动态地调节学习程度。在VQA-CP v2.0等数据集上的实验结果证明了所提方法的有效性,缓解了偏见对模型的影响。

专有名词增强的复述生成方法研究

现有的中文复述生成模型在对包含专有名词的原句生成复述句时经常丢失原句中的专有名词,造成复述句的语义偏移,降低复述句的可用性,进而影响其在下游任务中的应用效果。为了解决这类问题,提出专有名词增强的复述生成方法。针对包含单个专有名词的原句构建基于占位符的复述生成模型,通过将训练句对中的专有名词用占位符替换,训练模型对占位符的保留能力;针对包含多个专有名词的原句构建词汇约束的复述生成模型,通过将专有名词列表与原句拼接并进行区分,训练模型对多个专有名词的识别和复制能力,提高复述句对专有名词的保留率。此外,综合考虑语义一致性和表达多样性,提出参考句无关的复述句质量评价指标用来评估生成复述句的质量。以真实对话系统业务中的意图识别冷启动任务为下游任务,对比不同模型生成复述句的质量以及在意图识别任务上的准确率。实验结果表明,词汇约束的复述生成模型能够生成与原句语义一致且表达具有多样性的高质量复述语料,对应语料训练得到的意图识别模型准确率最高,相较于未考虑专有名词的复述模型,意图识别模型的准确率提高了5.38%。

基于单词领域特征敏感的多领域神经机器翻译

鉴于现有基于单词的领域特征学习方法在领域识别上的精度较低,为提高领域判别和提供准确的翻译,提出一种单词级别的领域特征敏感学习机制,包括两方面:1)编码器端的上下文特征编码,为了扩展单词级别的领域特征学习范围,引入卷积神经网络,并行提取不同大小窗口的词串作为单词的上下文特征;2)强化的领域特征学习,设计基于多层感知机的领域判别器模块,增强从单词上下文特征中获取更准确领域比例的学习能力,提升单词的领域判别准确率。在多领域UM-Corpus英-汉和OPUS英-法翻译任务中的实验结果显示,所提方法平均BLEU值分别超过强基线模型0.82和1.06,单词的领域判别准确率比基线模型分别提升10.07%和18.06%。对实验结果的进一步分析表明,所提翻译模型性能的提升得益于所提出的单词领域特征敏感的学习机制。

基于多任务标签一致性机制的中文命名实体识别

实体边界预测对中文命名实体识别至关重要。现有研究为改善边界识别效果而提出的多任务学习方法大多仅考虑与分词任务进行简单结合,但由于缺少包含多任务标签的训练数据,导致无法学到多个任务之间的标签一致性关系。该文提出一种新的基于多任务标签一致性机制的中文命名实体识别方法:将分词和词性信息融入命名实体识别模型,进而联合训练命名实体识别、分词、词性标注三种任务;建立基于标签一致性机制的多任务学习模式,增强边界信息学习,捕获标签一致性关系,更好地学习多任务表示。相较于基线模型,全样本实验、模拟小样本实验及真实小样本实验分别提升F_1值10.28%、11.17%和8.84%,表明了该方法的有效性。

融合知识的领域自适应方法综述

训练基于数据驱动的模型时,常假设源域和目标域的数据分布相同,但是,在实际场景中,这一假设通常不成立,因此容易造成模型的泛化能力较差的问题。为提高模型的泛化能力,领域自适应方法应运而生,其通过学习源域和目标域的数据特征来对齐两域数据分布,使得在源域数据上训练好的模型在有少量数据标签或者没有数据标签的目标域上也具有较好表现。为了进一步提高模型的泛化能力,现有研究探索将知识融入领域自适应方法中,该技术具有较高的实用价值。文中首先概述了融合知识的领域自适应方法的发展背景和相关综述的研究现状;其次对领域自适应的问题定义和理论基础进行了介绍;然后给出了一种融合知识的领域自适应方法的分类体系,并对其中的一些代表性方法进行了概述;最后,通过对该领域挑战性问题的分析,预测了融合知识的领域自适应方法未来的研究方向,以期为相关的研究提供一定的参考。

汉英双语命名实体识别与对齐的交互式方法

基于汉英双语命名实体的识别与对齐特性,文中提出了一种双语命名实体交互式对齐模型,其中的修正对齐计算体现了汉英实体识别与对齐的密切结合:一方面,利用双语对齐信息帮助实体识别;另一方面,实体的对齐过程对实体的识别结果又具有一定的修正作用,两方面的结合实现了双语实体识别与对齐之间的交互式互助过程.实验证明,这种交互式对齐模型不仅显著提高了汉英实体对齐的性能(F值从74.4%提高到81.2%),而且有效地提高了汉英实体识别的正确率和召回率.

基于任务驱动的“自然语言处理”课程教学探究与实践

“自然语言处理”课程是计算机科学与技术专业的专业核心课程之一。自然语言处理是人工智能领域的前沿热点研究方向,其知识内容新、更新快,因此,国内高校尚未形成统一成熟的教学大纲体系。针对“自然语言处理”课程理论性强、抽象性强、实践性强、系统性强的特点,基于任务驱动设计了层次递进的教学内容,提出了问题引导式和任务驱动式相结合的教学模式,全面提高学生学习兴趣,培养学生研究能力。希望通过教学内容和教学模式的改革,提高自然语言处理研究生教学及学科建设的质量和水平。

融合规则与统计的微博新词发现方法

结合微博新词的构词规则自由度大和极其复杂的特点,针对传统的C/NC-value方法抽取的结果新词边界的识别准确率不高,以及低频微博新词无法正确识别的问题,提出了一种融合人工启发式规则、C/NC-value改进算法和条件随机场(CRF)模型的微博新词抽取方法。一方面,人工启发式规则是指对微博新词的分类和归纳总结,并从微博新词构词的词性(POS)、字符类别和表意符号等角度设计的微博新词的构词规则;另一方面,改进的C/NC-value方法通过引入词频、邻接熵和互信息等统计量来重构NC-value目标函数,并使用CRF模型训练和识别新词,最终达到提高新词边界识别准确率和低频新词识别精度的目的。实验结果显示,与传统方法相比,所提出的方法能有效地提高微博新词识别的F值。

融合语态特征的日英层次短语翻译模型

针对不同语种的被动和可能语态的句法结构差异影响机器翻译质量的问题,提出融合语态特征的最大熵翻译模型。首先从日语端分出被动语态、可能语态和其他语态,然后从英语端对被动和可能语态进一步分类,抽取双语特征训练最大熵规则分类模型,将语态特征融合到对数线性模型中以改善翻译模型。提高解码器在翻译被动语态和可能语态时规则选择的准确性。实验结果表明,该方法可以有效地改善日英统计机器翻译的句法结构调序和词汇翻译,提升被动语态和可能语态句子的翻译质量。

融合被动和可能态模型的日汉统计机器翻译

日语中谓词语态有不同的词尾变形,其中被动态和可能态具有相同的词尾变化,在统计机器翻译中难以对其正确区分及翻译。因此,该文提出一种利用最大熵模型有效地对日语可能态和被动态进行分类,然后把日语的可能态和被动态特征有效地融合到对数线性模型中改进翻译模型的方法,以提高可能态和被动态翻译规则选择的准确性。实验结果表明,该方法可以有效提升日语可能态和被动态句子的翻译质量,在大规模日汉语料上,最高翻译BLEU值能够由41.50提高到42.01,并在人工评测中,翻译结果的整体可理解度得到了2.71%的提升。

基于层次递进模式的“编译原理”课程教学研究与实践

"编译原理"课程是计算机科学与技术专业的重要专业课程之一,本文针对"编译原理"课程理论性强、抽象性强、实践性强、系统性强的特点,探讨了课程的目标定位,基于层次递进模式从课程教学内容设计、教学方法设计、教学实施等几个方面结合教学实际进行了研究和实践,阐述了相应的教学理解和教学体会。

基于深度学习的实体链接研究综述

介绍实体链接的概念和步骤以及基于深度学习的命名实体链接相关问题和研究现状,分析实体链接研究中存在的问题及相应的解决模型,并介绍相关数据集和评测方法。总结国际评测会议中实体链接的现状,展望未来的研究方向。

基于Active Learning的中文分词领域自适应

在新闻领域标注语料上训练的中文分词系统在跨领域时性能会有明显下降。针对目标领域的大规模标注语料难以获取的问题,该文提出Active learning算法与n-gram统计特征相结合的领域自适应方法。该方法通过对目标领域文本与已有标注语料的差异进行统计分析,选择含有最多未标记过的语言现象的小规模语料优先进行人工标注,然后再结合大规模文本中的n-gram统计特征训练目标领域的分词系统。该文采用了CRF训练模型,并在100万句的科技文献领域上,验证了所提方法的有效性,评测数据为人工标注的300句科技文献语料。实验结果显示,在科技文献测试语料上,基于Active Learning训练的分词系统在各项评测指标上均有提高。

中文实体关系抽取研究综述

作为信息抽取任务中极为关键的一项子任务,实体关系抽取对于语义知识库的构建和知识图谱的发展都有着重要的意义。对于中文而言,语义关系更加复杂,实体关系抽取的作用也就愈加显著,因此,对中文实体关系抽取的研究方法进行详细考察极为必要。本文从实体关系抽取的产生和发展开始,对目前基于中文的实体关系抽取技术现状作了阐述;按照关系抽取方法对语料的依赖程度分为4类:有监督的实体关系抽取、无监督的实体关系抽取、半监督的实体关系抽取和开放域的实体关系抽取,并对这4类抽取方法进行具体的分析和比较;最后介绍深度学习在中文实体关系抽取上的应用成果和发展前景。

融合小句对齐知识的汉英神经机器翻译

针对当前神经机器翻译在捕捉复杂句内小句间的语义和结构关系方面存在不足,导致复杂句长文本翻译的篇章连贯性不佳的问题,提出一种融合小句对齐知识的汉英神经机器翻译方法。首先提出手工和自动相结合的标注方案,构建大规模小句对齐的汉英平行语料库,为模型训练提供丰富的小句级别的汉英双语对齐知识;然后设计一种基于小句对齐学习的神经机器翻译模型,通过融合小句对齐知识,增强模型学习复杂句内小句间语义结构关系的能力。在WMT17,WMT18和WMT19汉英翻译任务中的实验表明,所提出的方法可以有效地提升神经机器翻译的性能。进一步的评测分析显示,所提方法能有效地提高汉英神经机器翻译在复杂句翻译上的篇章连贯性。

融合门控机制的远程监督关系抽取方法

提出一种融合门控机制的远程监督关系抽取方法。首先在词级别上自动选择正相关特征,过滤与关系标签无关的词级别噪声;然后在门控机制内引入软标签的思想,弱化硬标签对噪声过滤的影响;最后结合句子级别的噪声过滤,提升模型的整体性能。在公开数据集上的实验结果表明,相对于句子级别噪声过滤方法,所提方法的性能有显著提高。

开放域上基于深度语义计算的复述模板获取方法

利用实体关系从网络大规模单语语料获取复述模板的方法可以规避对单语平行语料或可比语料的依赖,但是后期需要人工对有语义差异的关系模板分类后获取复述模板。针对这一遗留问题,该文提出基于深度语义计算的复述模板自动获取方法,首先设计基于统计特征的模板裁剪方法,从非复述语料中获取高质量的关系模板,然后设计基于深度语义计算的关系模板聚类方法获取高精度的复述模板。我们在四类实体关系数据上的实验结果表明,该方法实现了关系模板的自动获取与自动聚类,可以获得语义相近度更高、表现形式多样的复述模板。

复述平行语料构建及其应用方法研究

以汉语为研究对象,提出构建大规模高质量汉语复述平行语料的方法。基于翻译引擎进行复述数据增强,将英语复述平行语料迁移到汉语中,同时人工构建汉语复述评测数据集。基于构建的汉语复述数据,在复述识别和自然语言推理任务中验证复述数据构建及其应用方法的有效性。首先基于复述语料生成复述识别数据集,预训练基于注意力机制的神经网络句子匹配模型,训练模型捕获复述信息,然后将预训练的模型用于自然语言推理任务,改进其性能。在自然语言推理公开数据集上的评测结果表明,所构建的复述语料可有效地应用在复述识别任务中,模型可以学习复述知识。应用在自然语言推理任务中时,复述知识能有效地提升自然语言推理模型的精度,从而验证了复述知识对下游语义理解任务的有效性。所提出的复述语料构建方法不依赖语种,可为其他语言和领域提供更多的训练数据,生成高质量的复述数据,改进其他任务的性能。

基于句法结构的神经网络复述识别模型

为解决已有复述语义计算方法未考虑句法结构的问题,提出基于句法结构的神经网络复述识别模型,设计基于树结构的神经网络模型进行语义组合计算,使得语义表示从词语级扩展到短语级。进一步地,提出基于短语级语义表示的句法树对齐机制,利用跨句子注意力机制提取特征。最后,设计自注意力机制来增强语义表示,从而捕获全局上下文信息。在公开英语复述识别数据集Quora上进行评测,实验结果显示,复述识别性能得到改进,达到89.3%的精度,证明了提出的基于句法结构的语义组合计算方法以及基于短语级语义表示的跨句子注意力机制和自注意力机制在改进复述识别性能方面的有效性。

探索低资源的迭代式复述生成增强方法

复述生成旨在同一语言内将给定句子转换成语义一致表达不同的句子。目前,基于深度神经网络的复述生成模型的成功依赖于大规模的复述平行语料,当面向新的语言或新的领域时,模型性能急剧下降。面对这一困境,提出低资源的迭代式复述生成增强方法,最大化利用单语语料和小规模复述平行语料迭代式训练复述生成模型并生成复述伪数据,以此增强模型性能。此外,提出了句子流畅性、语义相近性和表达多样性为基准设计的伪数据筛选算法,选取高质量的复述伪数据参与每轮模型的迭代训练。在公开数据集Quora上的实验结果表明,提出的方法仅利用30%的复述语料在语义和多样性指标上均超过了基线模型,验证了所提方法的有效性。