基于FastText的藏文新闻文本分类的研究

藏文新闻文本分类在新闻推荐和舆情监测等领域具有显著的重要性。文章探讨了FastText模型在藏文新闻文本分类中的性能表现。在介绍FastText模型工作原理的基础上,通过实验对比评估了DPCNN、FastText、TextCNN、Tex-tRCNN、TextRNN及TextRNN_Att等模型在藏文文本分类任务中的表现。结果显示,FastText模型在测试集上展现出了优异的准确率、召回率和F1值。FastText模型不仅训练速度快、分类效率高,而且泛化能力强,为藏文文本分类提供了一种高效且有效的解决方案。

基于藏文新闻文本话题检测的聚类算法研究

话题检测的提出是为了帮助人们从海量的新闻报道中发现未知的新话题,其中文本聚类算法的研究,是实现藏文新闻文本的话题检测技术的核心.本文提出一种聚类算法,是基于简易聚类算法的改进,首先改进了文本顺序对聚类结果产生的影响,其次通过确定种子话题,来确定话题的类别.本研究的聚类算法在较小规模的语料中比改进前源算法有一定程度的提高.本文的研究对象是藏文网站中的新闻文本.

基于图卷积网络的藏文新闻文本分类

【目的】针对藏文预训练知识缺少的现状,利用藏文音节和文档的构造关系,提出基于图卷积网络的藏文新闻文本分类方法。【方法】基于音节-音节关系和音节-文档关系为藏文新闻语料库构建文本图,然后使用音节和文档的独热表示进行初始化,在训练集文档类别标签的监督下,使用图卷积网络联合学习音节和文档的嵌入,最后将文本分类问题转化为节点分类问题。【结果】图卷积网络在藏文新闻正文文本分类任务上准确率达到70.44%,相比于基线模型高出8.96~20.66个百分点;在藏文新闻标题文本上准确率达到61.94%,比基线模型高出6.61~26.05个百分点。同时,图卷积网络相比引入预训练音节嵌入的SVM、CNN和少数民族语言预训练模型CINO在准确率上高出0.73~15.1个百分点,在正文上的准确率相比Word2Vec+LSTM方法高出15.65个百分点。【局限】仍依赖于有标注数据集,但藏文的有监督文本相对稀缺。【结论】图卷积网络在藏文新闻文本分类任务上具有有效性,能够解决藏文新闻文本信息杂乱的问题,有助于对各类别藏文新闻文本数据进行挖掘。