面向自然语言处理的藏语虚词la格研究

藏语虚词研究是藏语自然语言处理中一项不可缺少的基础性工作,有着极其广泛的实际应用价值。它是藏文信息处理的核心和藏语自然语言理解的基础,在藏文校对、信息检索、双语对译、自动分类等技术中有着广泛的应用前景。文章在前人研究的基础上,结合信息处理,从不自由虚词的分类体系、形式化描述等角度对藏语虚词la格的语法功能做了一些探讨,重点论述了藏语虚词la格的语法功能,提出藏语虚词规范的初步设想和处理方法。

融合La格虚词语义信息的藏文La格分类模型

采用深度学习方法实现藏文La格(■)分类是一项具有挑战性和重要研究意义的藏语自然语言处理任务.藏文La格的自动分类更加依赖于上下文语义信息和特征的时序性,该文通过分析La格虚词的用法及语义特征,在设计La格虚词语义信息标记算法的基础上,提出一种融合La格虚词语义信息的藏文La格分类模型.该模型首先以每个音节及对应La格虚词或其它音节的语义特征嵌入作为输入,丰富嵌入向量的语义信息,增加输入特征的多样性;然后采用一维卷积融合并学习每个音节及对应La格虚词或其它音节语义信息的局部特征向量,提高卷积层的空间特征学习能力;其次使用双向长短时记忆网络(long short-term memory)(LSTM)学习时序特征,提高时序特征的学习能力;最后使用注意力机制对双向LSTM层每一时刻的输出特征进行加权融合,充分利用每一时刻的输出特征,以提高最终文本表示的特征质量.在TLD藏文La格数据集上的实验结果显示,该模型的分类效果优于基线模型及仅用藏文音节嵌入的模型,在测试集上的分类准确率为93.10%.

融合双通道音节特征的藏文La格例句自动分类模型

基于藏文La格(■)例句的自动分类在藏语自然语言处理领域的重要性,根据藏文La格的用法和添接规则,在对藏文La格例句进行分类并定义分类概念的基础上,提出一种融合双通道音节特征的藏文La格例句自动分类模型。该模型首先使用word2vec和Glove构建双通道藏文音节嵌入,分别在每路卷积中融合双通道音节特征,丰富输入特征的表达和提高卷积层的空间表征能力;然后在每一路卷积均使用结合层级注意力机制的Bi-LSTM学习时序特征后,拼接多路特征,提高上下文时序特征的学习能力;最后通过全链接层和Softmax层实现藏文La格例句自动分类。实验结果表明,该模型在测试集上的藏文La格例句分类准确率达到90.26%。

一种端到端的藏文La格浅层语义分析

该文通过详细分析La格的用法及特征,在研制La格(■)浅层语义标记规范的基础上,提出一种端到端的长短时记忆神经网络藏文La格浅层语义分析方法,该方法首先借鉴LSTM的设计思路,通过在LSTM的垂直方向上装置一个新颖的“门控高速连接”机制(Gated high-speed connection mechanism,GM),学习了输入句子的时序语义特征。GM包含对单元内部输入和输出的线性连接,使信息可以通畅地在不同层之间传播;然后使用Softmax计算每一时刻语义标签的局部归一化分布,以供输出层进行约束解码;最后使用维特比算法进行解码时通过强制执行该文设定的BIO和La格浅层语义标注约束,规范了输出语义标签之间的结构关系。虽然这个模型比较简单,不需要输入任何额外特征,但取得了理想的实验结果,在测试集上的藏文La格浅层语义分析准确率达到90.59%。

敦煌藏文与格标记la相关句法成分的辨析

藏语是格标记活跃的语言,与格标记la相关的句法成分极易产生分歧,自古以来倍受关注,始终是争议的热点。文章试图用现代语言学的方法分析研究,力求对不同观点的统一起到抛砖引玉的作用。

香格里拉话的格标记“上”——兼论从方位词到格标记的语法化链

云南省香格里拉市汉语方言的方位词"上"具有格标记功能,主要用于标记受事宾语和与事宾语。香格里拉话的格标记"上"与当地藏语中甸方言的格标记go在来源和功能上存在对应关系。在深度的语言接触下,汉语中的方位词"上"和"下"都能进入向格标记演化的语法化链。