面向汉藏机器翻译后处理的藏文虚词纠错模型

机器翻译是自然语言处理的主要分支之一,在促进政治、经济、文化交流等方面起着重要作用。目前汉藏机器翻译质量还有待提高,汉文到藏文的译文中容易出现语法错误,尤其普遍存在藏文虚词的翻译错误。分析汉藏机器翻译译文中的藏文虚词错误类型,并究其自动纠错方法是提高汉藏机器翻译性能最有效的方法。在分析汉藏机器翻译译文中虚词错误类型的基础上,利用大规模藏文文本对Bert进行预训练。然后面向汉藏机器翻译译文中的虚词错误类型,针对性的对Bert预训练模型进行微调,以完成一种面向汉藏机器翻译后处理的Bert藏文虚词纠错模型的训练。经实验,模型的纠错准确率、召回率和F1值分别达95.64%,93.27%,94.44%,表明上述模型的藏文虚词纠错性能较好。

基于迭代式回译策略的藏汉机器翻译方法研究

该文通过稀缺语言资源条件下机器翻译方法的研究以提高藏汉机器翻译质量,同时希望对语言资源匮乏的其他少数民族语言机器翻译研究提供借鉴。首先该文使用164.1万句对藏汉平行语言资源数据在Transformer神经网络翻译模型上训练一个基线系统,作为起始数据资源,然后结合翻译等效性分类器,利用迭代式回译策略和译文自动筛选机制,实现了稀缺资源条件下提升藏汉神经网络机器翻译性能的有效模型,使最终的模型比基准模型在藏到汉的翻译上有6.7个BLEU值的提升,在汉到藏的翻译上有9.8个BLEU值的提升,证实了迭代式回译策略和平行句对过滤机制在汉藏(藏汉)机器翻译中的有效性。

融合单语语言模型的藏汉机器翻译方法研究

由于藏汉平行语料匮乏,导致藏汉神经网络机器翻译效果欠佳,该文提出了一种将藏语单语语言模型融合到藏汉神经网络机器翻译的方法,首先利用神经网络实现藏语单语语言模型,然后使用Transformer实现藏汉神经网络机器翻译模型,最后将藏语单语语言模型融合到藏汉神经网络机器翻译中。实验表明,该方法能显著提升藏汉神经网络机器翻译质量。基线系统藏语到汉语的BLEU值为21.1,汉语到藏语的BLEU值为18.6,融合藏语单语语言模型后,藏语到汉语的BLEU值为24.5,汉语到藏语的BLEU值为23.3,比原有基线系统的BLEU值分别提高了3.4和4.7。

融合La格虚词语义信息的藏文La格分类模型

采用深度学习方法实现藏文La格(■)分类是一项具有挑战性和重要研究意义的藏语自然语言处理任务.藏文La格的自动分类更加依赖于上下文语义信息和特征的时序性,该文通过分析La格虚词的用法及语义特征,在设计La格虚词语义信息标记算法的基础上,提出一种融合La格虚词语义信息的藏文La格分类模型.该模型首先以每个音节及对应La格虚词或其它音节的语义特征嵌入作为输入,丰富嵌入向量的语义信息,增加输入特征的多样性;然后采用一维卷积融合并学习每个音节及对应La格虚词或其它音节语义信息的局部特征向量,提高卷积层的空间特征学习能力;其次使用双向长短时记忆网络(long short-term memory)(LSTM)学习时序特征,提高时序特征的学习能力;最后使用注意力机制对双向LSTM层每一时刻的输出特征进行加权融合,充分利用每一时刻的输出特征,以提高最终文本表示的特征质量.在TLD藏文La格数据集上的实验结果显示,该模型的分类效果优于基线模型及仅用藏文音节嵌入的模型,在测试集上的分类准确率为93.10%.

面向藏文文本的人物关系抽取语料库的构建

作为实体关系抽取研究的重要基础,构建高质量、标准化的语料库能够提高实体关系抽取任务的精确度和召回率。目前,藏文关系抽取语料库构建大多依靠传统人工标注方法且局限于特定领域,存在标注效率低且人物关系语料库相对缺乏的问题。文章构建了藏文人名实体识别语料库;通过分析人物关系特征和实体关系类别及其标注规范,构建触发词词典进行语料回标,生成15400条实体识别和8000条藏文人物关系抽取标注语料。为验证语料库的可用性,利用命名实体识别和关系抽取实验进行统计分析,其实体识别F1值达到67.2%,关系抽取F1值达到66.2%,结果表明该语料库的构建对后续面向藏文人物关系抽取研究提供了数据基础。

基于深度学习的藏文讽刺对话识别研究

针对情感分类研究中讽刺表达检测困难,还未有学者对藏文讽刺识别展开研究的问题,本文创建了藏文讽刺对话数据集,并借助提示学习方法在预训练模型微调方面的优势,采用BERT和提示学习(Prompt)对藏文讽刺对话进行识别。实验结果表明,本文所提出的方法优于基于BERT的句子级讽刺数据集(无上下文信息)上的结果,并验证了该方法的可行性,望对未来的藏文讽刺识别任务提供有效借鉴。

面向语言信息处理的藏语短语及其分类方法研究

短语作为语言分析的一个层次,占有十分重要的位置。有效的短语分析对降低其后句法分析的难度,缩小句法分析器的搜索空间,提高机器翻译的翻译正确率是很有帮助的。而目前面向信息处理的藏语短语的研究刚刚起步,有待于进一步发展。该文在藏语短语与藏语句子的界线研究的基础上,根据藏语信息处理的特点和要求,按照语法功能和便于计算机自动分析和处理的原则对短语进行分类,并规定了信息处理中藏语短语类别单位的标记代码。

一种端到端的藏文La格浅层语义分析

该文通过详细分析La格的用法及特征,在研制La格(■)浅层语义标记规范的基础上,提出一种端到端的长短时记忆神经网络藏文La格浅层语义分析方法,该方法首先借鉴LSTM的设计思路,通过在LSTM的垂直方向上装置一个新颖的“门控高速连接”机制(Gated high-speed connection mechanism,GM),学习了输入句子的时序语义特征。GM包含对单元内部输入和输出的线性连接,使信息可以通畅地在不同层之间传播;然后使用Softmax计算每一时刻语义标签的局部归一化分布,以供输出层进行约束解码;最后使用维特比算法进行解码时通过强制执行该文设定的BIO和La格浅层语义标注约束,规范了输出语义标签之间的结构关系。虽然这个模型比较简单,不需要输入任何额外特征,但取得了理想的实验结果,在测试集上的藏文La格浅层语义分析准确率达到90.59%。

藏文情感语料库的构建及自动标注方法研究

针对藏文情感分析领域中缺乏相应的基础训练语料库、模型又需要大量的数据做支撑、传统的人工标注需要耗费大量的人力物力资源且普适性不高的情况,构建了细粒度的藏文情感语料库和情感词典。首先由三人分别对每一个词进行情感强度标注,其次将语料和词典按规则进行匹配,最后以情感强度平均得分来表示文本的情感类别。本文所构建的细粒度情感语料资源,在一定程度上能够缩短海量标注语料库的开发周期,并降低语料标注的人工成本。

基于双向GRU神经网络的藏文人物关系抽取方法

关系抽取是指从文本中抽取实体并对实体之间的关系进行语义分析。本文从目前藏文关系抽取语料集稀缺的问题出发,构建了面向人物关系的藏文文本实体数据集,提出基于BERT和双向门控循环单元(GRU)神经网络的人物关系抽取方法,利用Word2vec模型得到基于分布式表示的藏文词向量表达,使用BERT和双向门控循环神经网络获取藏文文本特征进行关系分类预测。分析对比3种关系抽取模型,验证本文提出的模型与其他3类模型相比在精确率和召回率上均有所提高。

藏文词向量相似度和相关性评测集构建

词向量评测是词向量研究的基础,包括内部评测(intrinsic evaluation)和外部评测(extrinsic evaluations)。外部评测是将得到的词向量应用到具体某个任务中进行评测,是词向量研究的目标。内部评测是通过建立词之间的语义相似度或相关性能力的评测集,评价词向量模型的性能,是一种常用的词向量评测方式。该文通过分析英文、汉文词向量评测集构建方法,结合藏文的特点,研究藏文词向量评测集构建方法,构建了用于评价藏文词向量相似度和相关性的评测集TWordSim215和TWordRel215,并分析其有效性。

一种多基元联合训练的藏文词向量表示方法

词向量表示是机器学习的基础性工作,其目标是以优化的向量表示词,以便计算机能更好地理解自然语言。随着神经网络技术的发展,词向量在自然语言处理领域发挥着重要作用。藏文词向量表示技术的研究对藏文特征分析以及用深度学习技术处理藏文具有重要意义。该文提出了一种构件、字和词多基元联合训练的藏文词向量表示方法,设计了多基元联合训练藏文词向量的模型TCCWE,并采用内部评测中的词相似度/相关性评价方式验证了其有效性。实验表明,该文提出的藏文词向量表示方法有效,其性能在TWordSim215上提高了3.35%,在TWordRel215上提高了4.36%。

基于词性约束的藏文分词策略与算法

自动分词作为自然语言处理基础性的研究课题,一直被学术界所关注,随着藏语自然语言处理技术研究的不断深入,藏文分词也面临越来越多的挑战。该文通过分析藏文自动分词研究现状,提出基于词性约束的藏文分词策略与算法。相对于传统方法,该方法不仅能有效地预防和处理各类歧义现象,而且在藏文未登录词处理方面有较好表现。

藏文句义分割方法

句子是字或词根据语法规则进行组合的编码,句义分割是句子组合规律的解码问题,即对句义进行解析。在藏文分词后直接进行语义分析,其颗粒度过小,容易出现词语歧义,而以句子为分析单位,则颗粒度过大,不能较好地揭示句子的语义。为此,提出一种藏文句义分割方法,通过长度介于词语和句子之间的语义块单元进行句义分割。在对句子进行分词和标注的基础上,重新组合分词结果,将句子分割为若干个语义块,并采用空洞卷积神经网络模型对语义块进行识别。实验结果表明,该方法对藏文句义分割的准确率达到94.68%。

藏文句子语义块识别方法

语义理解是自然语言理解的一项关键任务,传统上采用以语法为中心的词法和句法分析等技术来解析句义。该文提出了一种以语义块分析藏文句义的新方法,其中藏文语义块识别通过采用Bi-LSTM和ID-CNN两种神经网络构架对该任务进行建模和对比分析。经实验,上述的两种模型在测试数据集上取得了良好的性能表现,F1值平均分别为89%和92%。这种语义块分析和识别技术能够较好地替代词义消歧和语义角色标注等工作。

基于循环卷积神经网络的藏文句类识别

句子是语言的最小使用单位,句类识别是为了进一步细化句法和句义研究。由于藏文句尾通常没有特殊的标点符号来识别不同句类,因此这一藏文语言特性就变成了一大难题。该文提出了基于语境和功能特征为一体的句子用途分类方案。首先,该文介绍了文法中藏文句子分类及其特征。其次,收集了大量藏文句子并对其进行了人工标注。最后,采用循环卷积神经网络对藏文句类进行了自动识别。实验表明,该模型对藏文句类识别有较为显著的效果。

基于多源信息融合的分布式词表示学习

分布式词表示学习旨在用神经网络框架训练得到低维、压缩、稠密的词语表示向量。然而,这类基于神经网络的词表示模型有以下不足:(1)罕见词由于缺乏充分上下文训练数据,训练所得的罕见词向量表示不能充分地反映其在语料中的语义信息;(2)中心词语的反义词出现于上下文时,会使意义完全相反的词却赋予更近的空间向量表示;(3)互为同义词的词语均未出现于对方的上下文中,致使该类同义词学习得到的表示在向量空间中距离较远。基于以上三点,该文提出了一种基于多源信息融合的分布式词表示学习算法(MSWE),主要做了4个方面的改进:(1)通过显式地构建词语的上下文特征矩阵,保留了罕见词及其上下文词语在语言训练模型中的共现信息可以较准确地反映出词语结构所投影出的结构语义关联;(2)通过词语的描述或解释文本,构建词语的属性语义特征矩阵,可有效地弥补因为上下文结构特征稀疏而导致的训练不充分;(3)通过使用同义词与反义词信息,构建了词语的同义词与反义词特征矩阵,使得同义词在词向量空间中具有较近的空间距离,而反义词则在词向量空间中具有较远的空间距离;(4)通过诱导矩阵补全算法融合多源特征矩阵,训练得到词语低维度的表示向量。实验结果表明,该文提出的MSWE算法能够有效地从多源词语特征矩阵中学习到有效的特征因子,在6个词语相似度评测数据集上表现出了优异的性能。

在线社交超网络的信息全局传播模型

信息爆炸时代,在线社交网络作为信息传播的主要途径被广泛应用,但在线社交网络中信息传播的动态过程往往难以准确预测和防控。该文引入超图中的超边描述两个或两个以上个体之间复杂的社交关系,利用基于超网络动态演化模型构建在线社交超网络,并结合基于反应过程策略的SIS模型,对在线社交超网络中信息全局传播的动态过程进行理论分析和仿真实验。使用平均场理论得到超网络结构参数与传播率、恢复率之间的解析表达式,并通过仿真实验分析超网络规模、传播率、恢复率、超网络结构参数以及初始传播节点对信息全局传播的影响。进一步,对超网络和复杂网络结构下的信息全局传播过程进行了对比分析。研究结果有助于深层次理解在线社交网络中信息全局传播的传播规律及发展趋势,并为信息侦测和舆情控制等实际应用提供科学依据。

融合双通道音节特征的藏文La格例句自动分类模型

基于藏文La格(■)例句的自动分类在藏语自然语言处理领域的重要性,根据藏文La格的用法和添接规则,在对藏文La格例句进行分类并定义分类概念的基础上,提出一种融合双通道音节特征的藏文La格例句自动分类模型。该模型首先使用word2vec和Glove构建双通道藏文音节嵌入,分别在每路卷积中融合双通道音节特征,丰富输入特征的表达和提高卷积层的空间表征能力;然后在每一路卷积均使用结合层级注意力机制的Bi-LSTM学习时序特征后,拼接多路特征,提高上下文时序特征的学习能力;最后通过全链接层和Softmax层实现藏文La格例句自动分类。实验结果表明,该模型在测试集上的藏文La格例句分类准确率达到90.26%。

基于PCFG的藏文疑问句句法分析

藏文疑问句的句法分析在藏文问答系统、搜索引擎、信息的抽取和检索等领域有着广泛的应用前景。该文通过分析藏文疑问句的构成特点,对藏文疑问句进行了分类,归纳了各类藏文疑问句的结构特征,进而利用PCFG对藏文疑问句进行了句法分析。经测试,在封闭测试集上的准确率、召回率和F1值分别达97.6%、97.3%和97.4%,在开放测试集上的准确率、召回率和F1值分别达96.0%、95.4%和95.7%。