结合主题依存特征和Bigram的汉语语言建模方法

在 Bigram语言模型建模过程中 ,语言被看作符号集序列 ,没有考虑语言本身具有的语法和语义结构特征 .虽然在线的文本训练数据迅速增长 ,但语言模型的性能却很难再获得大幅度的提高 .基于统计方法语言建模的基本原理 ,提出了一种结合 Bigram和主题依存特征的中文语言建模方法 .初步实验结果表明 ,该方法可有效地补充 Bigram模型提取特征的不足 。

一种新的自动文本分类的算法

研究了统计语言模型中b igram模型在自动文本分类中的应用,针对传统的向量空间模型在计算文本相似度时假设特征项相互独立的缺点,提出了一种新的利用词对及词序信息来改善文本分类结果的方法.实验结果表明:该方法是可行且有效的.

汉语词性标注系统的设计与实现

汉语词性标注技术在中文信息处理领域中占有十分重要的地位,本文主要对基于统计的词性标注技术进行了研究,所实现的词性标注系统主要通过隐马尔科夫模型对训练语料库进行数据统计,获取词性和词汇概率信息,并采用Viterbi算法进行标注,实验结果表明Bigram模型对不同领域具有一定的适应性,取得了较好的标注正确率。