JAVA编程技术中藏文处理问题的分析及解决

在基于UNICODE编码方式的Java编程技术中,利用国际标准框架下的《信息技术藏文编码字符集国家标准扩充集A、B》,使基于GUI图形的用户界面上能够正确地显示藏文、在即时通信中能够正确地传输藏文数据。本文将从藏文编码字符集的知识入手,以Java编写的藏文即时通讯软件为例,分析以上两个问题并提出解决它们的方案。

基于LDA模型的藏文文本主题发现方法研究

引言。为了加快藏文信息化建设进程,自治区“十四五”相关规划中把推动藏文信息技术标准化工作列入重要推进计划[1]。藏族地区的网络普及率逐年攀升,藏文信息处理技术和藏文使用地区网络通信快速发展[2],互联网成为藏文使用地区人民传递信息、共享资源的主要途径和传承藏族文化的重要方式。藏文文本数据和藏文网页均呈指数式爆炸增长,面对成千上万的藏文数据,快速高效地获取数据、整合数据和提取信息主题尤为重要。

藏文信息处理技术的研究现状与展望

本文主要对国内开展藏文信息处理以来的相关研究工作进行了介绍和评价。在此基础上对藏文信息处理的进一步发展进行了展望。目的是为了探讨如何加速推进藏文信息处理技术的发展。通过对藏文操作系统、藏文信息技术标准、藏语信息处理、综合应用等四个方面的历史和现状的介绍和评价 ,使我们得出如下的初步结论 :目前状况下要加速藏文信息处理的发展 ,应重点开展藏文信息技术标准制定、藏文操作系统研制、藏文资源建设和人才培养工作 ,尤其是要把藏文操作系统的研制工作作为头等大事来抓。

藏文信息处理属性统计研究

本文统计分析：１、藏字的字长和构调频度；２、藏字的声母和韵母结构方式及频度；３、藏字的位置字符及结构方式。通过统计分析，从藏字结构方式的量和位置字符的量的度量揭示其质的面貌，为藏文研究和藏字信息处理应用提供基础数据。

藏文自动分词中未登录词处理方法研究

藏文中后接成份出现频率较高,分词中未登录词的后缀单切现象会影响分词的正确率,为此,采用词(语素)+缀归并的方法,将藏文后接成份与前一词(语素)归并为一个切分单位输出。针对藏文中大量人名、地名、单位名等未登录词在分词时出现的碎片切分现象,使用分词碎片整合方法,将多次出现的词条碎片整合为一个切分单位输出。实验结果表明,2种方法能提高藏文自动分词的识别正确率。

藏文信息处理教材建设的几点思考

藏文信息处理是以计算机为主要工具,以藏语言文字为处理对象的高新技术。藏文信息处理技术近二十多年的发展过程中,国内外已经开发出一大批藏文操作系统和应用软件,并取得了不同程度的推广和应用。但到目前为止,还没有一部科学、系统和全面的关于藏文信息处理技术方面的专业教材,这使得对该领域有着浓厚兴趣的学生无法系统地掌握这门新学科。文章根据藏文信息处理技术研究领域的成果,就《藏文信息处理》教材建设提出了几点思考和建议。

藏文词性自动标注中歧义问题处理方法研究

藏文词性自动标注是藏文信息处理后续句法分析、语义分析及篇章分析必不可少的基础工作。词性歧义问题的处理是藏文词性自动标注的关键所在,也是藏文信息处理的难点问题。对藏文词性标注中词性歧义问题进行了分析研究,提出了符合藏文语法规则实用于藏文词性标注的解决词性排岐方法。实验证明:该处理方法在藏文词性自动标注中对词性排岐方面有较好的效果,使藏文词性标注正确率有了一定的提高。

藏文信息处理有重大突破——制定点阵字型尽快实现网上通讯

藏文基本集进行信息交换时,通过辅助集显示字型。本文对这两个编码字符集字型采用对比方式进行分析后得出:基本集字型结构具有示意性,点阵数据具有独立性;辅助集字型结构具有组合性,点阵数据具有关联性。进而确定了藏文辅助集字型点阵数据处理的技术方案。

云计算对藏文信息处理技术的影响

随着我国社会经济的迅速发展,我国传统的一些文化由于各种原因却在逐渐的消亡。文化是我们生存的根本,是我们民族的灵魂,因此在当今时代我们应该采取各种措施挽救我们濒临消亡的文化,尤其是一些少数民族的文化,这对于加强我国的民族团结有着重要的意义。本文针对云计算对于藏文信息处理技术的影响进行了分析,希望有助于解读藏文化,挖掘藏文化的魅力。

一种基于AC自动机的藏文多模式匹配算法

本文基于AC(Aho-Corasick)算法提出了一种适用于藏文字符集的多模式匹配算法——TAC(Tibetan Aho-Corasick)算法。该算法有效利用藏文以音节点为结尾这一特点,检测到失配字符后不再将文本串读入自动机而是进行下一个词读入,从而提高了效率。实验结果表明,在处理藏文多模式匹配方面,TAC算法相较于AC算法效率大幅度提高。可很好地应用于藏文字取证、拼写检查器以及抄袭检测等领域。

基于TMS-BERT的藏文多粒度语义匹配模型研究

该文提出了基于TMS-BERT(Tibetan Multi-granularity Semantic matching-BERT)的藏文多粒度语义匹配模型。针对藏文文本特点,提出一种基于音节字、词、短语混合的多粒度特征向量构建模型,有效保留了藏文的语义特征,缓解了传统藏文文本匹配模型存在的维度灾难问题。提出一种基于Transformer的双向编码能力和自注意力机制,采用大量藏文训练一个用于检测藏文语义相似性的模型,克服了传统文本匹配模型检测准确率较低的问题。在社交平台和新闻网站等搜集到71904个藏文句子对用于训练和模型评估,该模型最终精确率高达95.33%,准确率高达94.33%,相比于传统的BERT模型准确率提高了3.68%,比传统词向量生成模型fastText准确率提高了12.39%,比传统文本相似度模型提高了27.35%。

面向司法领域的藏文事件数据集构建

为了构建高质量的藏文司法事件数据集,推动藏文司法事件抽取技术的进一步探索、评测与优化。该文面向藏文司法领域,以藏文刑事裁判文书为研究对象,设计了“类别分组-主题建模”两阶段的契合藏文司法实际的事件Schema;采用模型驱动的事件触发词预标注与事件要素人工标注相结合的半自动化数据标注方式,对1863篇藏文刑事裁判文书进行爬取、OCR、降噪、分析、多人协同标注及审核,构建了藏文司法事件数据集TiEvent。TiEvent共定义了3个大类、12个小类的事件类型,涵盖1863个藏文真实司法文本的2249个事件提及。BiLSTM、BiLSTM-CRF、CINO-CRF等事件抽取模型的实验结果表明,藏文司法事件触发词检测和论元识别的最高F1值分别为75.36%、70.98%。在藏文司法文本上,TiEvent具有较高的事件覆盖度和事件要素完整度,能够满足藏文司法事件抽取工作的基本需要。

藏文信息处理中的几个关键问题研究

藏文信息处理是一门关于藏文现代化建设的新型学科。文章通过阐述藏文信息处理的重要性,分析了藏文信息处理在字、词、句子层面的已有重要研究成果,提出了藏文输入法、藏文词类划分、藏文句子分类等存在的问题及其解决方法。

青海省藏文信息处理与机器翻译重点实验室

青海省藏文信息处理与机器翻译重点实验室成立于2013年,隶属青海师范大学。其前身为"藏文智能信息处理与机器翻译"省级重点实验室,于2012年获批为省部共建教育部重点实验室。实验室以语言学、信息科学、语料库语言学、统计学、计算机应用技术、物理学多学科交叉融合为依托,以计算语言学与机器翻译、藏文信息处理技术和社会计算与信息安全为研究方向,研发藏文信息处理、机器翻译、模式识别、社会计算为特色的应用系统。

藏文信息处理教育部重点实验室青海省藏文信息处理与机器翻译重点实验室简介

1994年依托国家“863”计划项目青海省教育厅在青海师范大学成立了“藏文智能信息处理与机器翻译”省级重点实验室,2009年以本实验室为基础成立了“青海省藏文信息研究中心”,2012年获批为省部共建教育部重点实验室,2012和2014年研究团队2次获得教育部“长江学者与创新团队”发展计划的支持,2013年获批为青海省科技厅省级重点实验室;经过20余年的发展形成了计算语言学与机器翻译、藏文信息处理技术方向和复杂网络与藏文信息安全等具有鲜明特色的研究方向。

藏文综合编码方案的研究与实现

目前，藏文处理系统中普遍存在着外字困扰问题，本文首次实现了彻底排除外、字的全新编码方案──综合编码方案，它由通行编码方案和外字编码方案两部分组成。通行编码方案按双字节１１模式编码，外字编码方案采用组合叠加编码。文中对外字组合叠加编码方案作了深入地研究，提出了外字运算符、外字描述和顺序输入叠加输出等概念．设计了自动造字算法和程序，解决了外字处理的一系列技术障碍，并在Ｓｕｐｅｒ－ＣＣＤＯＳ汉字系统ＷＰＳ５．０版本上实现了藏文综合编码方案，其方法可引伸到其它藏文处理系统。

基于深度学习的藏文文本自动分类研究

在藏文信息处理中,文本分类技术可以将藏文文档自动分类为某种提前设定的类别,因此藏文文本分类在信息检索、新闻推荐等应用中具有重要的应用价值。传统的文本分类方法需要复杂的特征工程处理,分类效果不是非常理想。随着深度学习的快速发展,基于深度学习的藏文文本分类方法成为主要研究趋势。文章提出基于双向LSTM的文本分类方法,在藏文文本分类数据集上进行实验,本文算法的精准率、召回率、F1分数分别提升2.56%、1.87%和1.75%。

基于深度学习的藏文舆情分析研究

随着自然语言处理技术的快速发展,藏文信息处理技术也取得了较大进展。其中,藏文舆情分析作为藏族地区社会舆情分析的重要技术,受到广泛关注。但是,现有的藏文文本情感分析研究由于起步较晚,还存在很大提升空间。本文提出基于深度集成学习的藏文文本情感分析算法。并通过建立藏文情感数据集进行实验,本文算法在三类情感(正向、负向、中性)中精确率平均提升1.65%,召回率提升1.63%,F1分数提升1.96%。实验结果表明,本文采用的深度集成学习有效地提高了文本情感分类的性能。

藏文拉丁转写的研究与实现

藏文拉丁转写是研究藏文化和进行藏文术语交流的重要工具。介绍了一种基于藏文编码字符集基本集和藏文编码字符集扩充集A,实现藏文拉丁转写的方法。通过引入垂直预组合的概念,将藏文由复杂文本变为简单文本,从而简化了拉丁转写的处理过程,降低了算法复杂度。详细讲述了算法的原理及在OpenOffice.org中的实现。

最大熵和规则相结合的藏文句子边界识别方法

句子边界识别是藏文信息处理领域中一项重要的基础性工作,该文提出了一种基于最大熵和规则相结合的方法识别藏语句子边界。首先,利用藏语边界词表识别歧义的句子边界,最后采用最大熵模型识别规则无法识别的歧义句子边界。该方法有效利用藏语句子边界规则减少了最大熵模型因训练语料稀疏或低劣而导致对句子边界的误判。实验表明,该文提出的方法具有较好的性能,F1值可达97.78%。