利用BERT和覆盖率机制改进的HiNT文本检索模型

为有效提升文本语义检索的准确度,本文针对当前文本检索模型衡量查询和文档的相关性时不能很好地解决文本歧义和一词多义等问题,提出一种基于改进的分层神经匹配模型(hierarchical neural matching model,HiNT)。该模型先对文档的各个段提取关键主题词,然后用基于变换器的双向编码器(bidirectional encoder representations from transformers,BERT)模型将其编码为多个稠密的语义向量,再利用引入覆盖率机制的局部匹配层进行处理,使模型可以根据文档的局部段级别粒度和全局文档级别粒度进行相关性计算,提高检索的准确率。本文提出的模型在MS MARCO和webtext2019zh数据集上与多个检索模型进行对比,取得了最优结果,验证了本文提出模型的有效性。

基于人工神经网络的自然语言处理技术研究

文章探讨了基于人工神经网络的自然语言处理技术,首先,阐述了人工神经网络的定义、结构、工作原理,以及与深度学习的关系。其次,详细研究了基于人工神经网络的自然语言处理技术,包括神经网络模型、词嵌入技术、循环神经网络、长短期记忆网络、转换器模型与自注意力机制等,并分析了这些技术面临的挑战。最后,通过实验设计与结果分析验证了所提出方法的有效性。文章研究内容对于推动自然语言处理技术的发展和应用具有重要意义。

基于动态多头注意力机制的藏文语言模型

针对预训练过程中大规模训练语料句子长度跨度较大、特征数量不定的情况,提出一种基于动态多头注意力机制的藏文ALBERT语言模型。在训练过程中根据句子的词数动态获得注意力机制的头数,使语言模型可以捕获重要的特征信息,在藏文公开数据集TNCC上进行验证。实验结果表明,改进后的预训练模型能够动态学习句子中的重要特征,在目前的TNCC文本分类任务上F1值均取得最优,其长文本分类及短文本分类任务的Macro F1值分别为73.23%、64.47%。

基于注意力机制的双打分式机器阅读理解模型

由于现有的机器阅读理解模型对于文本信息的理解能力欠佳,模型的问题回答准确度也有待提升。为了提升相关模型对于文本的阅读理解能力,提出了一种双打分机制。先依据文章信息的自注意力权重判断文章中每个词语的重要程度,进而可以排除掉一些不重要的信息,并给予重要信息以更高的权重。随后再从问题的角度选取答案,计算文章中单词与问题的相关度,通过Softmax函数即可返回每个单词作为答案开头与结尾的概率,选取概率最高的单词,输出二者之间的内容,即可得到模型所认为的问题答案。在此方法中,模型是在排除了一些信息的前提下选择答案,这将会有着更高的效率。实验部分将采用SQuAD问答数据集来进行对比实验,在与BiDAF模型与DrQA模型的对比实验中,EM指数高出同类最好模型0.82。实验结果表明,采用该方法的模型相较于其他模型有着更高的准确率,该方法对于模型回答准确率的提升是成功的。

基于语言和视觉融合Transformer的指代图像分割

针对指代图像分割任务中存在语言表达歧义、多模态特征对齐不充分、对图像整体理解不全面等问题,提出一种基于Transformer特征融合与对齐的多模态深度学习模型。该模型使用优化的Darknet53图像特征提取骨干网络,加强了对全局特征理解能力。使用了卷积神经网络结构、双向门控循环单元Bi-GRU结构和自注意力机制相互结合的语言特征提取结构,挖掘深层次语义特征,消除语言表达的歧义性。构建了基于Transformer的特征对齐结构,以提升模型的分割细节和分割精度。最后,采用平均的交并比mIoU和在不同阈值的识别精度作为模型评估指标,通过实验证明所提模型可以充分融合多模态的特征,理解多模态特征的深层语义信息,模型识别结果更加准确。

基于TF-IDF和多头注意力Transformer模型的文本情感分析

文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。

基于自然语言处理的CNAS认可准则自动对标系统

在CNAS评审过程中,人工对标不符合项与其依据条款存在着耗时耗力、对标不准确等缺点。文中针对以上问题,提出一种基于自然语言处理的多级模型自动对标方法。通过对不符合项描述的语言特点进行研究,利用注意力机制的Bi-LSTM网络对不符合项进行分类。在该分类下使用基于语料扩充和迁移学习的SimCSE网络模型计算相似的不符合项,并提取对应依据条款,有效解决了对标不准确等问题。模拟实验测试表明,所提方法的对标准确率可达74.4%,语义匹配计算时间相比DSSM模型有大幅提升,内存消耗和最高匹配速度也有明显改善。

融合实体注意力与语义信息的关系抽取模型

知识图谱通过语义网络,建立现实世界和数据世界映射,支撑了很多行业中的具体应用,实体关系抽取是知识图谱构建中的核心环节。论文针对关系抽取任务中实体相关特征利用率低、文本特征提取不充分以及部分预训练模型不能够很好提取序列特征的问题,提出一个基于BERT预训练模型,下游利用长短期记忆网络(LSTM)能够有效处理长期依赖问题的特点,再结合实体位置自感知注意力机制组合成新的模型。模型分别在两个公共数据集上测试,实验结果表明论文模型在TacRed数据集和SemEval 2020 Task 8数据集上f1得分值分别可以达到67.1%,87.8%,均优于部分先前的模型。

自然语言处理中的预训练范式

从2017年以来,自然语言处理中提出了“预训练+微调+师生学习”的新范式。这种新范式是自然语言处理的第四代范式,它代表着自然语言处理未来发展的方向。本文讨论自然语言处理中的这种新范式,分别介绍迁移学习、预训练、微调的原理和方法,并说明它们在Transformer、BERT、UniLM和Unicoder等模型中的应用。

基于改进编解码器和情感词典的对话生成模型

针对现有对话模型生成的回复语句缺乏情感共鸣、拟人效果不够理想的问题,提出一种基于改进编解码器和情感词典的对话生成模型。利用AgSeq2Seq模型对语料库进行训练并构建高质量对话生成系统,结合情感词典识别输入语句的情绪特征并计算回复语句的情感值,基于情绪对比机制根据不同的情感特征生成相应的拟人回复。实验结果表明,相对传统的对话生成模型,提出模型可以主动识别用户情绪,生成更加合乎逻辑、适应语境的回复,实现拟人程度更高的情感对话过程。

面向双注意力网络的特定方面情感分析模型

特定方面情感分析已经成为自然语言处理领域的研究热点,其通过学习文本上下文的信息判别文本中特定方面的情感极性,可以更加有效地帮助人们了解用户对不同方面的情感表达.当前,将注意力机制和神经网络相结合的模型在解决特定方面情感分析任务时大多仅考虑单一层面的注意力信息,并且卷积神经网络无法获取全局结构信息、循环神经网络训练时间过长且单词间的依赖程度随着距离增加而逐渐减弱.针对上述问题,提出一种面向双注意力网络的特定方面情感分析(dual-attention networks for aspect-level sentiment analysis,DANSA)模型.首先,引入多头注意力机制,通过对输入进行多次不同的线性变换操作,获取更全面的注意力信息,同时,多头注意力机制可以实现并行化计算,保证了DANSA的训练速度.其次,DANSA引入自注意力机制,通过计算输入中每个单词与其他所有单词的注意力得分获取全局结构信息,并且单词间的依赖程度不会受到时间和句子长度的影响.最后,融合上下文自注意力信息与特定方面单词注意力信息,共同作为特定方面情感预测的依据,最终实现特定方面情感极性的预测.相比结合注意力机制的神经网络,DANSA弥补了注意力信息单一问题,不仅可以有效获取全局结构信息,还能够实现并行化计算,大大降低了训练时间.在SemEval2014数据集和Twitter数据集上进行实验,DANSA获得了更好的分类效果,进一步证明了DANSA的有效性.

双语者语义提取的心理语言学研究

笔者就国内外双语者语义提取的心理语言学研究作了一个概述。比较全面地阐述了双语者的定义,语义存储和获取机制以及现在所面临的问题,并在文章的最后就进一步开展研究提出了自己的一些观点。

一种注意力增强的自然语言推理模型

在自然语言处理任务中使用注意力机制可准确衡量单词重要度。为此,提出一种注意力增强的自然语言推理模型aESIM。将词注意力层以及自适应方向权重层添加到ESIM模型的双向LSTM网络中,从而更有效地学习单词与句子表示,同时提高前提与假设文本之间局部推理的建模效率。在SNLI、MultiNLI及Quora数据集上的实验结果表明,与ESIM、HBMP、SSE等模型相比,aESIM模型的准确率能够提升0.5%~1%。

SemFA:基于语义特征与关联注意力的大规模多标签文本分类模型

大规模多标签文本分类(XMTC)是从一个庞大且复杂的标签集合中查找与文本样本最相关标签的一项具有挑战性的任务。目前,基于Transformer模型的深度学习方法在XMTC上取得了巨大的成功。然而,现有方法都没能充分利用Transformer模型的优势,忽略了文本不同粒度下细微的局部语义信息,同时标签与文本之间的潜在关联尚未得到稳健的建立与利用。对此,提出了一种基于语义特征与关联注意力的大规模多标签文本分类模型SemFA(An Extreme Multi-Label Text Classification Model Based on Semantic Features and Association-Attention)。在SemFA中,首先拼接多层编码器顶层输出作为全局特征。其次,结合卷积神经网络从多层编码器浅层向量中获取局部特征。综合丰富的全局信息和不同粒度下细微的局部信息获得更丰富、更准确的语义特征。最后,通过关联注意力机制建立标签特征与文本特征之间的潜在关联,引入关联损失作为潜在关联不断优化模型。在Eurlex-4K和Wiki10-31K两个公开数据集上的实验结果表明,SemFA优于大多数现有的XMTC模型,能有效地融合语义特征与关联注意力,提升整体的分类性能。

基于注意力平衡列表的溯因推理模型

溯因推理是自然语言推理(NLI)中的重要任务,旨在通过给定的起始观测事件和最终观测事件,推断出二者之间合理的过程事件(假设)。早期的研究从每条训练样本中独立训练推理模型;而最近,主流的研究考虑了相似训练样本间的语义关联性,并以训练集中假设出现的频次拟合其合理程度,从而更精准地刻画假设在不同环境中的合理性。在此基础上,在刻画假设的合理性的同时,加入了合理假设与不合理假设的差异性和相对性约束,从而达到了假设的合理性和不合理性的双向刻画目的,并通过多对多的训练方式实现了整体相对性建模;此外,考虑到事件表达过程中单词重要性的差异,构造了对样本不同单词的关注模块,最终形成了基于注意力平衡列表的溯因推理模型。实验结果表明,与L2R2模型相比,所提模型在溯因推理主流数据集叙事文本中的溯因推理(ART)上的准确率和AUC分别提高了约0.46和1.36个百分点,证明了所提模型的有效性。

基于ProtBert预训练模型的HLA-Ⅰ和多肽的结合预测算法

针对现有的第Ⅰ类HLA(HLA-Ⅰ)分子与多肽结合亲和力预测算法在特征构造时依赖传统序列评分函数的问题,为突破用经典机器学习算法构造氨基酸序列特征的局限性,提出一种基于蛋白质预训练模型ProtBert的HLA-Ⅰ与多肽的结合预测算法ProHLAⅠ.该算法利用生命体语言与文本语言在组成上的共性,将氨基酸序列类比句子,通过整合ProtBert预训练模型、BiLSTM编码和注意力机制的网络结构优势,对HLA-Ⅰ序列和多肽序列进行特征提取,从而实现HLA-Ⅰ独立于位点的多肽结合预测.实验结果表明,该模型在两组独立测试集中均取得了最优性能.

汉语后部失语患者语言障碍个案研究

目的:对病灶局限的汉语后部失语患者的语言受损和语言保留情况进行个案分析,验证语言处理的双机制假说,并为临床语言治疗提供相关神经语言学依据。方法:选取1例病灶局限的枕、顶、颞叶受损的后部失语患者,通过自然交谈和西部失语症量表检查(WAB)检测收集语料,并辅以图片命名及句子复述等任务,全面检测和分析汉语后部失语患者的语言障碍,重点关注其句法-词汇分离,以及与之相关的名—动分离现象。结果:颞叶受损患者词汇受损严重,句法保留相对较好;词汇理解较好,但是产出困难;词汇产出存在名动分离现象,呈现出名词特异性损伤的特点。结论:汉语后部失语患者句法保留较好、词汇受损严重,以及相关的名动分离的事实,一方面为语言处理的词汇—规则双机制假说提供有力证据,另一方面为汉语后部失语患者的语言有效康复方面提供神经语言学依据。

基于掩码矩阵⁃BERT注意力机制的神经机器翻译

BERT在各种自然语言处理任务上取得了优异的效果,但是,其在跨语言任务上并没有取得很好的结果,尤其是在机器翻译任务上。文中提出BERT增强的神经机器翻译(BE⁃NMT)模型,该模型分为三部分来提升神经机器翻译(NMT)模型对BERT输出表征的利用。首先,针对BERT在NMT任务上微调所造成的知识遗忘,使用一种掩码矩阵(MASKING)策略来缓解这种情况;其次,使用注意力机制的方式将BERT的输出表征融入NMT模型中,同时更好地权衡了模型中的多个注意力机制;最后,融合BERT的多层隐藏层输出来补充其最后一层隐藏层输出缺失的语言信息。在多个翻译任务上进行实验,结果表明提出的模型明显优于基线模型,在联合国平行语料库英文→中文翻译任务上提高了1.93个BLEU值。此外,文中的模型在其他翻译任务上也取得了不错的提升。

一种情感可控的古诗自动生成模型

古诗是中华民族重要的非物质文化遗产,使用计算机实现古诗的自动生成已成为一个热门的研究课题,但现有的古诗生成方法在生成诗句与主题的关联性上表现不佳且无法控制情感的表达。为解决这些问题,文中基于序列到序列(Seq2Seq)模型,提出一种通过关键字和情感分类词共同控制绝句诗生成的方法。具体实现过程分为两个阶段:首先使用TextCNN和TextRank算法分别对收集的古诗进行情感分类和关键字提取,自行构建实验数据集;其次针对古诗主题与情感表达不准确的问题,引入带注意力机制的Seq2Seq模型,在模型的编码端和译码端使用门控神经单元(GRU),通过4个关键字和情感分类词控制最终绝句诗的生成,并在生成阶段使用集束搜索代替传统的贪心搜索来增加生成古诗的多样性。对比实验结果表明,所提方法生成绝句诗的效果在自动评价和人工评价上均优于基准模型,对于内容与情感的表达更加准确和有效。

基于深度学习的文本分类研究综述

与传统的机器学习模型相比,深度学习模型试图模仿人的学习思路,通过计算机自动进行海量数据的特征提取工作。文本分类是自然语言处理中的一个重要应用,在文本信息处理过程中具有关键作用。过去几年,使用深度学习方法进行文本分类的研究激增并取得了较好效果。文中简要介绍了基于传统模型的文本分类方法和基于深度学习的文本分类方法,回顾了先进文本分类方法并重点关注了其中基于深度学习的模型,对近年来用于文本分类的深度学习模型的研究进展以及成果进行介绍和总结,并对深度学习在文本分类领域的发展趋势和研究的难点进行了总结和展望。