基于机器学习的维吾尔文文本分类研究

随着Internet上维吾尔文信息的迅速发展,维吾尔文文本分类成为处理和组织这些大量文本数据的关键技术。研究维吾尔文文本分类相关技术和方法,针对维吾尔文文本在向量空间模型(VSM)表示下的高维性,采用词干提取和IG相结合的方法对表示空间进行降维。采用基于机器学习的分类算法(kNN和Nave Bayes)对维吾尔文文本语料进行了分类实验并分析了实验结果。

基于改进Conformer的新闻领域端到端语音识别

目前,开源的中文语音识别数据集大多面向通用领域,缺少面向新闻领域的开源语音识别语料库,因此该文构建了面向新闻领域的中文语音识别数据集CH_NEWS_ASR,并使用ESPNET-0.9.6框架的RNN、Transformer和Conformer等模型对数据集的有效性进行了验证,实验表明,该文所构建的语料在最好的模型上CER为4.8%,SER为39.4%。由于新闻联播主持人说话语速相对较快,该文构建的数据集文本平均长度为28个字符,是Aishell_1数据集文本平均长度的2倍;且以往的研究中训练目标函数通常为基于字或词水平,缺乏明确的句子水平关系,因此该文提出了一个句子层级的一致性模块,与Conformer模型结合,直接减少源语音和目标文本的表示差异,在开源的Aishell_1数据集上其CER降低0.4%,SER降低2%;在CH_NEWS_ASR数据集上其CER降低0.9%,SER降低3%,实验结果表明,该方法在不增加模型参数量的前提下能有效提升语音识别的质量。

融合方面语义和网格标记的多语言意见元组抽取

面向方面的细粒度意见抽取(Aspect-oriented Fine-grained Opinion Extraction,AFOE)任务的目的是以意见对的形式抽取文本评论中的方面和意见词或者再抽取情感极性,形成意见三元组。以往的研究通常以管道方式抽取意见元素,容易出现错误传播的问题,而且大多数只关注方面词和意见词的单个子任务抽取,忽略了不同意见元素之间的相互影响和指示信息,导致意见挖掘任务不完整。此外,面向中文的意见元素抽取任务的研究较少。针对以上问题,文中提出了融合方面语义和网格标记的多语言意见元组抽取模型。首先,使用向内LSTM(Inward-LSTM)和向外LSTM(Outward-LSTM)编码方面词及其对应的上下文信息建立方面和候选意见词的关联,再结合全局信息生成特定方面语义特征的上下文表示,有利于提高下游意见元素抽取的性能。其次,使用网格标记方案的推理策略,利用方面和意见词之间的依赖指示信息进行更准确的抽取,以端到端的方式处理AFOE任务。相比基线模型,对于方面意见对抽取任务,改进的模型在中英文数据集上的F1值提高了0.89%~4.11%,对于三元组抽取任务提高了1.36%~3.11%,实验结果表明,改进的模型能有效地对中英文评论的意见元素进行抽取,性能显著优于基线模型。

基于MHSA和GCN的方面级情感分析模型

针对目前大多数现有的基于图卷积网络的模型只考虑了特定方面和上下文之间的交互关系,忽略了方面之间的交互情感特征的问题,本文提出了一种利用预训练BERT和多头自注意力机制(MHSA)结合图卷积网络的模型(MHSAGCN-BERT).用方面词与上下文的句法依赖和方面之间的相互情感关系来推导出特定方面的情感极性,以此增强模型学习特征能力.在Restaurant14、Restaurant15、Restaurant16公开数据集上进行了实验,结果表明,本文模型与其他方面级情感分析模型相比有较明显的提升.

基于分级匹配的维吾尔语文档相似性计算及剽窃检测方法

针对以维吾尔语书写的文档间的相似性计算及剽窃检测问题,提出了一种基于内容的维吾尔语剽窃检测(U-PD)方法。首先,通过预处理阶段对维吾尔语文本进行分词、删除停止词、提取词干和同义词替换,其中提取词干是基于n-gram统计模型实现;然后,通过BKDRhash算法计算每个文本块的hash值并构建整个文档的hash指纹信息;最后,根据hash指纹信息,基于RKR-GST匹配算法在文档级、段落级和句子级将文档与文档库进行匹配,获得文档相似度,以此实现剽窃检测。通过在维吾尔语文档中的实验评估表明,提出的方法能够准确检测出剽窃文档,具有可行性和有效性。

基于深度强化学习的维吾尔语人称代词指代消解

针对深度神经网络模型仅学习当前指代链语义信息忽略了单个指代链识别结果的长期影响问题,提出一种结合深度强化学习(deep reinforcement learning)的维吾尔语人称代词指代消解方法.该方法将指代消解任务定义为强化学习环境下顺序决策过程,有效利用之前状态中先行语信息判定当前指代链指代关系.同时,采用基于整体奖励信号优化策略,相比于使用损失函数启发式优化特定的单个决策,该方法直接优化整体评估指标更加高效.最后在维吾尔语数据集进行实验,实验结果显示,该方法在维吾尔语人称代词指代消解任务中的F值为85.80%.实验结果表明,深度强化学习模型能显著提升维吾尔语人称代词指代消解性能.

维吾尔语-汉语量词短语的神经机器翻译

针对语料不足引起的维吾尔语-汉语量词短语翻译性能不佳及歧义量词的翻译结果乱等问题,提出基于多编码器多解码器的维吾尔语-汉语量词短语神经机器翻译方法。将汉语语料进行自动处理和筛选,收集包含量词的维吾尔语-汉语量词短语语料,使用多编码器多解码器结构,搭建具有更强生成能力的多编码器多解码器维汉神经机器翻译模型。计算BLEU值得到了36.41,并通过对比实验结果,验证了所提方法的有效性。

基于相似度计算的维吾尔语词聚类

词聚类是一种面向词语的聚类技术,广泛应用于自然语言处理的各个方向.传统的K-means算法是基于距离的聚类算法,该算法认为两个词的距离越近,其相似度就越大.本文提出了基于词形相似度计算的K-means聚类算法,它是基于词的相似度的聚类算法.实验表明,效用测度E达到了0.555.

基于自顶向下算法的维吾尔语句法分析初探

该文通过研究国内外相关的句法分析算法与理论，再结合维吾尔语自身的特点对基于规则的维吾尔语句法分析方法进行讨论，由于维吾尔语作为一种自然语言，具有自然语言所共有的一些规则，发现国外经典的句法分析方法同样适合于维吾尔语的句法分析，本论文主要讨论了自项向下的的自动句法分析方法。

乌兹别克语-维吾尔语双语语料库构建平台的设计与实现

在语言研究和机器翻译中,创建对齐的语料库是极其重要的基础工作之一。由于乌兹别克语和维吾尔语之间存在着一定的相似性,待翻译的乌兹别克语句子和转换得到的维吾尔语句子的语法结构和词序是相似的。该文利用两种语言之间的这种相似关系设计并实现了乌兹别克语-维吾尔语双语语料库构建平台,用该平台可以简单的转换字母生成译文,并对原文和译文分词,不仅实现句子级别的对齐任务,还能实现词语级别的对齐任务。用该平台已经构建了包含8124条句对的双语对齐语料库。

基于多注意力机制的维吾尔语人称代词指代消解

针对深度神经网络模型学习照应语和候选先行语的语义信息忽略了每一个词在句中重要程度,且无法关注词序列连续性关联和依赖关系等问题,提出一种结合语境多注意力独立循环神经网络(Contextual multi-attention independently recurrent neural network,CMAIR)的维吾尔语人称代词指代消解方法.相比于仅依赖照应语和候选先行语语义信息的深度神经网络,该方法可以分析上下文语境,挖掘词序列依赖关系,提高特征表达能力.同时,该方法结合多注意力机制,关注待消解对多层面语义特征,弥补了仅依赖内容层面特征的不足,有效识别人称代词与实体指代关系.该模型在维吾尔语人称代词指代消解任务中的准确率为90.79%,召回率为83.25%,F值为86.86%.实验结果表明,CMAIR模型能显著提升维吾尔语指代消解性能.

基于ATT-IndRNN-CNN的维吾尔语名词指代消解

该文提出一种基于注意力机制(attention mechanism,ATT)、独立循环神经网络(independently recurrent neural network,IndRNN)和卷积神经网络(convolutional neural network,CNN)结合的维吾尔语名词指代消解模型(ATT-IndRNN-CNN)。根据维吾尔语的语法和语义结构,提取17种规则和语义信息特征。利用注意力机制作为模型特征的选择组件计算特征与消解结果的关联度,结果分别输入IndRNN和CNN得到包含上下文信息的全局特征和局部特征,最后融合两类特征并使用softmax进行分类完成消解任务。实验结果表明,该方法优于传统模型,准确率为87.23%,召回率为88.80%,F值为88.04%,由此证明了该模型的有效性。

融合词性的维吾尔语文本分类研究

目前维吾尔语文本分类仍存在特征空间的高维度问题以及文本向量表示的高稀疏性问题,为了更好地解决这一问题。首先根据词性特征过滤掉对文本分类无意义词或者包含少量分类特性的词汇,然后分别在KNN、决策树、SVM、CNN、RNN、CNN-BLSTM等分类器上进行实验。实验结果表明,与传统语料相比,根据词性过滤过的语料对多数分类器实验的准确率均有所提高,并且大大缩短训练时间。

基于多亚词序列融合的神经机器翻译

在神经机器翻译模型中,BPE(Byte Pair Encoding)方法用于解决模型不能正确翻译罕见词和不可见词的问题。但是BPE只能将单词切分成唯一的亚词序列,面对形态丰富的语言,同一个词存在多种不同的组合,但是模型只能学习单词的一种组合方式,这会阻碍模型更好地学习单词的不同组合特性。该文提出一种加标签融合多种亚词序列的方法,不同BPE融合次数切分相同的训练数据,得到不同的亚词序列,进行加标签融合,其中相同单词的不同亚词参与训练,使模型能够更好地学习词的不同的组合形式。该文中的方法在形态复杂的语言和形态简单的语言对上均有了0.5个BLEU值以上的提高。实验表明,不同的亚词序列质量越好,相似度越低,融合后训练的翻译模型质量越好。

TransREF:一种改进的基于邻域信息的知识表示模型

近年来,知识表示学习在智能推荐、智能问答,以及智能检索方面发挥了关键性作用,受到了广泛关注。知识表示学习旨在借助实体与关系的低维嵌入,将语义信息向量化,通过数学公式进行知识的推理。在众多知识表示学习模型中,TransE由于评分函数参数较少、计算复杂度低、计算效率高,被认为是最有前途的模型。然而,TransE在处理除一对一以外的复杂关系时,存在一定的局限性。为了解决这个问题所带来的困扰,提高知识嵌入的质量,本文提出了一种改进的基于翻译模型的知识表示模型TransREF。首先,借助关系矩阵投影,实现对实体和关系的嵌入;其次在原有向量的基础上加入关系邻域,增强模型的学习能力。在模型被训练期间,对于语义相似度高的实体,通过概率法实现对头实体与尾实体的替换,进而生成的较高质量的负例三元组,并且在选择关系邻域节点时采用五点随机法。最后,选择英文词典WordNet的子集WN18和Freebase子集FB15K上进行相关链接预测实验,之后在3个公开数据集WN11、FB13、FB15K开展三元组分类的实验。结果表明,相较于TransE、TransH,TransREF在MeanRank、Hits@10,以及ACC指标上都有较好的性能改善,证明了TransREF的有效性。

旅游领域的特定细分领域命名实体识别

针对旅游领域数据集资源匮乏的问题,构建了基于旅游领域的特定细分领域的两种命名实体识别数据集SCE_DATA和RES_DATA,将多种命名实体识别模型应用到了这两个数据集中,证明数据集的有效性.预训练语言模型可以充分提取上下文信息,因此探究了多种不同预训练语言模型对命名实体识别任务的影响.实验结果表明,使用BERT预训练语言模型的命名实体识别任务取得了比较好的效果.

带标记音节的双向维汉神经机器翻译方法

近年来,基于神经网络的机器翻译成为机器翻译领域的主流方法,但是在低资源翻译领域中仍存在平行语料不足和数据稀疏的挑战。针对维-汉平行语料不足和维吾尔语形态复杂所导致的数据稀疏问题,从维吾尔语的音节特点出发,将单词切分成音节,同时融入BME(Begin,Middle,End)标记思想,提出一种基于带标记音节的神经网络机器翻译方法。与使用单词粒度和BPE粒度的两类神经网络机器翻译方法对比,该方法在维-汉机器翻译任务中分别提升7.39与3.04个BLEU值,在汉-维机器翻译任务中分别提升5.82与3.09个BLEU值,可见在平行语料不足的条件下,该方法有效地提升了维-汉机器翻译的质量。

基于BiLSTM+Attention的体育领域情感分析研究

针对体育领域情感分析资源不足、分析性能不高的现状,对体育领域的情感分析开展了研究.首先从"新浪体育"和"直播吧"等平台经过人工筛选、标注,构建了中文情感标注语料库CH-SPORT,共标记评论10 000条,其中积极评论5 000条,消极评论5 000条.然后选用了SVM、TextCNN、BiLSTM、RCNN、fastText、BiLSTM+Attention等模型对CH-SPORT进行了评估.实验结果表明,BiLSTM+Attention模型在CH-SPORT上的分类效果最佳,Acc为87.75%,比基准数据集ChnSentiCorp和NLPCC2014分别高出18.65%、11.75%.本文构建的数据集能有效应用于体育情感分析研究中.

基于统计和规则混合策略的维吾尔人名识别研究

本文采用统计和规则相结合的混合策略,提出一种维吾尔人名的自动识别方法.该方法利用知识库中的统计信息,对维吾尔人名做初步的提取,分析维吾尔人名构成的各类特征,提取特征集,总结相应的识别规则,对候选人名进行识别,并消除歧义.在此基础上构建了维吾尔人名识别系统,并对系统进行了封闭和开放测试,实验结果表明,封闭测试的准确率达到88.47%,召回率达到85.1%.

基于人工智能技术的“自然语言处理”课程教学模式改革与探索

针对新疆大学“自然语言处理”课程研究生课程教学模式存在的单人授课、单次考核等问题,文章结合自然语言处理技术发展趋势,制定了团队和导师共同参与授课和指导的新疆大学“自然语言处理”课程教学模式,利用团队授课的方式,提高了授课内容的深度和质量。通过阶段性理论笔试考核和实践能力考核进一步强化对学生理论与实践能力的培养,把自学学习效果纳入考核范围,促进了学生自学能力的强化;采用导师参与教学、指导和评价的方式,实现了与学生具体研究方向的衔接。