基于DAN与FastText的藏文短文本分类研究

随着藏文信息不断融入社会生活,越来越多的藏文短文本数据存在网络平台上。针对传统分类方法在藏文短文本上分类性能低的问题,文中提出了一种基于DAN-FastText的藏文短文本分类模型。该模型使用FastText网络在较大规模的藏文语料上进行无监督训练获得预训练的藏文音节向量集,使用预训练的音节向量集将藏文短文本信息转化为音节向量,把音节向量送入DAN(Deep Averaging Networks)网络并在输出阶段融合经过FastText网络训练的句向量特征,最后通过全连接层和softmax层完成分类。在公开的TNCC(Tibetan News Classification Corpus)新闻标题数据集上所提模型的Macro-F1是64.53%,比目前最好评测结果TiBERT模型的Macro-F1得分高出2.81%,比GCN模型的Macro-F1得分高出6.14%,融合模型具有较好的藏文短文本分类效果。

Bi⁃LSTM和CRF结合的藏文分词方法研究

本研究旨在探索基于双向长短时记忆网络(Bi⁃LSTM)和条件随机场(CRF)的藏语分词方法。研究评估了Bi⁃LSTM和Bi⁃LSTM结合CRF模型在藏文分词任务中的性能,针对未登录音节词进行了模型优化。研究还将分词系统应用到CCMT2023藏汉机器翻译任务中,并进行了评估。实验结果表明,本文提出的分词系统在藏语分词任务中具有良好的性能,并且在藏汉机器翻译任务上有效提升了性能。

CINO-TextGCN:融合CINO与TextGCN的藏文文本分类模型研究

为提高藏文新闻文本分类准确性,文章提出一种融合少数民族语言预训练模型(Chinese Minority Pr-etrained Language Model,CINO)和图卷积神经网络模型(Text Graph Convolutional Networks,TextGCN)的方法,即CINO-TextGCN模型。为有效评测该模型对藏文文本的分类性能,自建了较大规模和较高质量的藏文新闻文本公开数据集TNEWS(https://github.com/LG2016/CINO-TextGCN),通过实验发现,CINO-Text-GCN在公开数据集TNCC上的准确率为74.20%,在TNEWS上为83.96%。因此,该融合模型能够较好地捕捉到藏文文本语义,提升藏文文本分类性能。

基于图神经网络结合预训练模型的藏文短文本情感分析研究

针对藏文情感分析研究中,由于藏文构字规则以及数据集不统一导致深度学习模型效果欠佳的问题,该文提出了一种结合图神经网络以及预训练模型的藏文情感分析模型,应用于藏文短文本。首先,采用Albert预训练模型对藏文文本进行词向量构建;其次,为对应句中标注出的藏文情感词构建表征,并且通过构建后的词向量与情感词表征进行融合;最后,将融合后的表征进行图数据构建并输入到图神经网络模型中,得到最终的分类效果。实验结果表明,该文提出的藏文情感分类模型准确率达到98.60%,优于其他基线模型。数据集公开网址为:https://github.com/TU-NLP/TU_SA/。

基于Bi-LSTM的藏文依存句法分析研究

藏语句法分析目前的研究集中在藏语言的成分句法分析。采用深度学习的方式进行藏语依存句法分析的研究方面基本处于空白状态。基于转移的依存句法分析是一种快速有效的依存句法分析方法,当句子输入到基于转移依存解析器后,解析器从左到右预测一系列解析动作。结合藏文的特点,构建了CoNLL-U格式的藏文依存树库,提出了一种基于双向LSTM的依存句法解析器,并采用注意力机制学习转移解析过程中解析器状态的表示,通过捕获更多的信息特征来对解析器的全局状态进行建模。在构建的藏文依存树库上进行实验,将堆栈信息、词性信息、历史转移动作信息作为模型的辅助信息,进行更深层次句法特征信息学习。实验表明上述模型对藏文的依存句法分析有较为显著的效果。

基于ASBC模型的藏文自动分词方法研究

藏文分词是藏文自然语言处理的前提工作,其效果将影响藏文自然语言处理的下游任务。神经网络的兴起,使结合预训练语言模型的深度学习方法成为分词研究的主流。针对传统神经网络获取语义信息有限的问题,论文利用大规模藏文语料库构建ALBERT预训练语言模型,同时引入藏文音节特征融合的方法,提出了基于深度学习的ALBERT预训练与音节特征融合的双向长短时记忆条件随机场藏文分词模型(ALBERT-Syllable-BiLSTM-CRF,ASBC)。实验在多主题数据集上进行,主要验证了ALBERT预训练语言模型和音节特征融合对藏文分词的有效性,最终模型分词效果得到明显提升。

基于注意力机制藏文乌金体古籍文字识别研究

藏文乌金体古籍文字识别是古籍文字识别领域的一个难题。针对藏文乌金体古籍中存在的文字粘连和背景复杂问题,提出一种基于注意力机制的藏文乌金体古籍文字识别方法。该方法主要包含两部分,编码器部分采用卷积神经网络(CNN)与双向长短期记忆(Bi-LSTM)获得图像文本的特征序列和序列标注,解码器部分使用注意力机制计算注意力权重并与循环神经网络(RNN)相结合得出识别结果。采用实验室的616张藏文乌金体古籍作为实验数据集以及藏文字丁准确率作为实验评测指标。采用两种文字识别模型作为基线模型,从模型大小和识别率进行对比,文中识别模型在模型大小和识别效果上都优于其他两个模型,文中模型大小41.2 MB,相比基线模型中最小的优化了36 MB,字丁识别准确率90.55%,相比基线模型中最好的结果提高了7.94百分点。表明所提出的基于注意力机制的藏文乌金体古籍识别模型,显著提高了藏文乌金体古籍中的粘连文字和背景复杂图像的识别效果。

CINO双通道结合多头注意力机制藏文情感分类方法

为了解决藏文情感分类任务中现有的模型对文本语义信息理解和深层文本特征提取能力不足的问题,该文使用CINO(Chinese Minority PLM)预训练模型来获取动态词向量,通过TextCNN和BiGRU融合的双通道情感分类模型,分别实现获取文本局部特征和深层全局特征,并引入多头自注意力机制引导模型学习更重要的信息。实验结果表明,该文提出的双通道模型准确率高达92.84%,相较于该文的其他对比模型效果更佳。

基于组块的藏文依存句法分析及自动标注方法

依存句法分析是自然语言处理领域核心技术之一,旨在通过分析句子中词语之间的依存关系来确定句法结构。目前,藏文依存句法分析研究面临着长句解析困难和粗粒度依存转化映射不全面等问题。为此,文章提出一种基于组块和细粒度词性匹配规则的藏文依存句法分析及自动标注方法。该方法首先完善了藏文依存句法标注体系,并基于该标注体系人工标注数据集,提取词性匹配规则,进而通过藏文句子组块识别,提高了长句解析的准确性,最后实现了一个藏文依存句法自动标注原型系统TDParser,并构建了含7335条依存句法的藏文依存句法树库。通过实验证明了TDParser的性能及自动标注数据的有效性。

基于领域术语词典和句式框架的藏汉机器翻译领域数据增强方法研究

藏汉机器翻译系统在新闻、时政等领域已经取得了显著的翻译效果,这主要归功于建立了相对充足的双语句对。然而,现有藏汉双语语料中存在较大的领域偏差问题,藏医、佛学等领域的数据极度稀缺,导致藏汉翻译模型在处理这些低资源领域句对时面临着领域词汇稀缺和翻译困难的挑战。为了解决这一问题,充分利用现有领域术语双语词典,提出了一种基于词典结合特定领域上下文语义关系的翻译质量提升方法,并应用于传统藏医药领域。首先,收集并建立了包含9166对词条的藏医领域术语双语词典,并利用该词典扩充低资源领域的数据,以提高翻译系统对于特定领域术语的覆盖率;其次,将词典中的词对直接添加到已有句对中、领域词典中的词来替换原有句对中的词两种方式进行数据扩充,以验证词典扩充的领域翻译性能;最后,考虑到领域特定句式信息对于翻译的重要性,通过分析特定领域的语境和语义关系,提出引入特定领域上下文句式框架来优化特殊领域的翻译性能,在传统藏医药领域进行测试。实验结果表明,在利用词典进行数据扩充后,传统藏医药领域的BLEU值从0提升到4.59,且文章提出的领域句式框架方法,仅构造5条句式框架,就能使BLEU值最高提升至6.32,这为解决低资源领域翻译问题提供了新的思路和方法。

基于注意力头数和词性融合的藏文预训练模型

为了更好地学习藏文语言特征以及探究藏文预训练语言模型的最佳注意力机制头数,将词性与藏文预训练模型相结合,并进行了对比实验确定最佳的注意力头数,旨在提高语言模型对藏文语言特征的理解以及下游任务的性能。实验结果表明,在多个分类任务中,注意力头数为12的预训练模型皆表现了良好的性能。此外,将词性融入预训练模型后,文本、标题和情感分类任务的模型F_(1)值分别提高了0.57%、0.92%和1.01%。实验结果证明融入词性特征后,模型可以更准确地理解藏文语言结构和语法规则,从而提高分类任务的准确率。

藏文情感词典构建的现状分析

近年来,许多研究者证实,基于深度学习的多特征融合情感分析方法比纯深度学习方法更能挖掘文本的情感信息,其中情感词特征是最重要的特征之一。目前,藏文虽然有少量的情感词典,但基本上没有公开,想要使用藏文情感词典资源,只能自行构建。研究藏文情感词典的构建现状能对后续藏文情感词典的构建提供帮助。为了解藏文情感词典的词汇分类方法、常用词典构建方法以及已有藏文情感词典的词汇量与词汇构成等方面的研究现状,文中通过对比和统计等方法分析了近10年藏文情感词典构建相关的文献(以CHKI为主),总结出了藏文情感词典构建方面的研究状况。经研究发现,情感词的分类方法中,主要有7大类21小类、12大类20小类、2大类18小类等。藏文情感词典的构建方法包括词典匹配、机器翻译、SO-PMI扩充、基于word2vec或BERT的相似度扩充方法等。已有藏文情感词典的词汇量大致在5000至28000之间,接近中文情感词典的水平,词汇构成主要包含情感词、程度副词、否定词、双重否定词、表情词等。希望为相关研究人员提供参考。

面向社交媒体的藏文图文多字体检测与识别研究

社交媒体为大众沟通交流与信息传播提供了更为便捷的平台。文章针对当前社交媒体中藏文图文背景复杂、多字体、字体混排和版式多样等特点,构建了社交媒体藏文图文识别数据集,提出一种融合PSENET和CRNN(卷积循环神经网络)的端到端检测识别算法。该算法利用PSENET进行多角度的文本检测,再结合基于多头注意力机制的CRNN模型进行文字识别。实验结果表明,检测率和多字体识别率分别达到了95.7%和84.5%,相较于无预训练模型和CTC(连接时序分类)识别模型,准确率分别提高了34.6%和4.14%。表明该方法在解决社交媒体中藏文图文多字体识别问题上具有较好的实用价值和应用前景。

基于语义增强的藏医药命名实体识别研究

针对通用藏文预训练语言模型在处理藏医数据时无法适应且存在词信息损失的问题,提出了一种融合藏医词汇特征与通用藏文预训练模型字特征的方法,以改善对藏医学专有名词的识别,并增强模型对藏医领域的理解能力。该方法通过构建藏医领域的特征词典,并利用词典来获取训练数据中每个字潜在的匹配词集,接着将词集特征嵌入字符表示中来增强藏医字符的表征能力。经实验表明,仅使用通用藏文预训练模型会降低对藏医实体识别的性能。融合词集特征后,F1值明显提高了17.19%,验证了此方法不仅能补充预训练模型缺乏的词汇信息,还可以有效缓解模型与藏医数据不匹配的问题。

不同子词处理方法对机器翻译的影响研究

不同的子词处理方式和数据规模对神经机器翻译的效果有重要影响。因此,在优化神经机器翻译时需要考虑语言和数据资源的差异性。选择合适的子词处理方式是一个具有挑战性的任务。文章采用Transformer模型,在不同的数据配置和子词处理方式下进行实验,旨在探究它们对汉-藏、汉-英翻译模型性能的影响,以找到在低资源情况下最有效、合适的机器翻译策略。实验结果表明,在相同的实验条件下,汉-英方向使用字节对编码的sentencepiece方法达到了最好的效果。而汉-藏方向则与之相反,subword-nmt方法效果最佳,sentencepiece方法效果最差,甚至不如不使用子词处理的模型。

基于动态多头注意力机制的藏文语言模型

针对预训练过程中大规模训练语料句子长度跨度较大、特征数量不定的情况,提出一种基于动态多头注意力机制的藏文ALBERT语言模型。在训练过程中根据句子的词数动态获得注意力机制的头数,使语言模型可以捕获重要的特征信息,在藏文公开数据集TNCC上进行验证。实验结果表明,改进后的预训练模型能够动态学习句子中的重要特征,在目前的TNCC文本分类任务上F1值均取得最优,其长文本分类及短文本分类任务的Macro F1值分别为73.23%、64.47%。

基于小样本学习的藏文命名实体识别

藏文命名实体识别是藏文自然语言处理领域的一项关键技术,其目的是识别文本中的人名、地名及组织机构名。在目前的研究中,深度学习方法需要大量的标注数据是制约模型性能的主要因素,因此本文提出基于小样本学习的藏文命名实体识别方法。针对小样本数据量少导致模型无法充分学习实体特征的问题,本文提出实体特征信息融合方法,在训练过程中将实体位置信息、分词信息与藏文音节信息以维度拼接的方式进行特征融合,通过辅助信息增强实体特征,使得模型可以较好地学习藏文长实体的边界信息,并设计消融实验探究不同特征信息对模型效果的影响。实验结果表明,本文提出的方法有效提高了藏文小样本命名实体识别模型的准确率,相较于基线实验F1值总体提升了22.22~38个百分点。

基于mRASP的藏汉双向神经机器翻译研究

藏汉机器翻译技术的研究对于弘扬和传承优秀民族文化,推进藏族地区经济、教育和文化的发展有着十分重要的现实意义。该文立足于藏汉平行语料匮乏而导致的藏汉神经机器翻译效果欠佳的问题,对跨语言预训练模型进行了研究。使用第十八届全国机器翻译大会(CCMT 2022)的藏汉数据集构建藏汉双语的跨语言预训练模型(mRASP),采用谷歌的Transformer神经网络机器翻译架构作为基线模型,主要利用数据增强的方式对藏汉平行语料进行扩充、优化藏汉机器翻译所用到的词表,并探索跨语言预训练模型中的联合词表对翻译性能的影响,最终提出了一种融合跨语言预训练模型(mRASP)与改进后的绿色联合词表的藏汉双向神经机器翻译。经过上述策略,藏汉翻译任务上的BLEU值达到了55.69,汉藏翻译任务上的BLEU值达到了29.57。与传统的基于预训练模型的藏汉双向神经机器翻译相比,在稀缺资源条件下有效地提升了藏汉双向机器翻译的性能。

基于藏文BERT的藏医药医学实体识别

藏医药文本字符嵌入对藏医药医学实体识别有着重要意义,但目前藏文缺少高质量的藏文语言模型。本文结合藏文结构特点使用普通藏文新闻文本训练基于音节的藏文BERT模型,并基于藏文BERT模型构建BERT-BiLSTM-CRF模型。该模型首先使用藏文BERT模型对藏医药文本字符嵌入进行学习,增强字符嵌入对藏文字符及其上下文信息的表示能力,然后使用BiLSTM层进一步抽取藏医药文本中字符之间的依赖关系,最后使用CRF层强化标注序列的合法性。实验结果表明,使用藏文BERT模型初始化藏医药文本字符嵌入有助于提高藏医药医学实体识别效果,F1值达96.18%。

结合分词特征的藏文命名实体识别方法

命名实体识别是构建知识图谱、机器翻译、网络舆情分析等信息处理领域的前提和基础。在藏文命名实体识别研究中,传统单一字(音节)嵌入方法未能融入词的位置信息,对实体边界识别能力比较差。针对以上问题,文章提出在神经网络嵌入层嵌入字(音节)的基础上加入了分词特征,并将这两种特征融合之后送入BiLSTM-CRF模型预测藏文实体识别结果。在西藏大学自然语言处理实验室构建的数据集上进行了实验,测试集和验证集上的F_(1)值分别达到了96.99%和96.84%,实验表明该方法在藏文命名实体识别任务中的有效性。