基于词序统计组合的中文文本关键词提取技术

为进一步改善关键词提取的效果,提出一种基于词序统计组合的关键词提取方法。通过词序统计、词性标注、停用词过滤、词语组合等步骤,实现短语或组合词的生成和候选关键词的过滤;通过其它特征项的引入,进一步提高最终提取关键词的准确度。实验结果表明,该方法对中文文本的关键词提取具有良好的效果。

基于综合的句子特征的文本自动摘要

采用了一种综合的文本自动摘要方法来抽取出涵盖范围广、冗余信息少、最能反映文本中心思想的文本摘要。该方法充分考虑文本中的词频、标题、句子位置、线索词、提示性短语、句子相似度等特征因素,构建了一个综合的特征加权函数,运用数学回归模型对语料进行训练,去除冗余句子信息,提取关键句生成摘要。实验评估表明了该方法的可行性、有效性以及在摘要质量方面的优越性。

哈萨克语NP和VP结构的歧义类型与消除策略研究

以现代哈萨克语短语识别与短语块库构建技术研究工程为背景,以NP和VP结构的歧义类型研究及消除为目的,提取统计方法来处理NP和VP结构的歧义问题.该方法在已经统计与分析出的哈萨克语短语基础上,对哈萨克语NP和VP短语组合结构歧义做全面分析和整理.用互信息方法解决NP和VP的歧义问题准确率(72%)并不高.为了达到更好的准确率就需要数量较大的训练语料库,但是目前实验环境并没有足够的语料.因此,基于规则方法标注好语料并采用人工方式完善训练语料库,再使用最大熵方法来处理歧义问题.实验结果表明,基于统计方法解决NP和VP结构的歧义问题是有效的,其准确率在封闭测试中达到了80.1%.

多分类器区分性组合在二次解码中的应用

提出利用基于隐马尔可夫模型的谱特征模型、基于高斯混合模型的声调分类器以及基于多层感知器的音素分类器模型的组合来提高语音识别中二次解码中的识别率。在模型组合中,使用上下文相关的模型权重加权模型得分,并使用区分性训练来优化上下文相关权重来进一步改进识别结果。对人工选取各种上下文相关权重集合进行了性能评估,连续语音识别实验表明,使用局部分类器进行二次解码能够明显降低系统误识率。在模型组合中,使用当前音节类型及左上下文相结合的模型权重集合能够最大程度降低系统误识率。实验表明该方法得到的识别结果优于基于谱特征与基频特征和音素后验概率特征合并得到特征组合的识别系统。

维吾尔文扫描页的倾斜校正

为了方便维文图像的切分和识别工作,提出将基于凸多边形的最小面积外接矩形法和基线拟合法相结合的检测和校正图像方法。首先提取边缘像素生成凸多边形,利用基于凸多边形的最小面积外接矩形法实现初步的倾斜校正,再根据维文沿基线书写的特点,将图像细化后采用基线拟合的方法完成维文文本的精确校正。实验结果表明,该方法能够精确地检测出文本图像的倾斜角并校正,是行之有效的方法。

改进的K-means算法在维文连体段聚类中的应用

在维吾尔文文字识别中,能否有效地聚类将直接影响识别结果的好坏。为改善聚类效果,针对维吾尔文连体段聚类,提出了一种改进的K-means聚类算法。该算法首先采用等间距法多次选择类中心,然后选择最佳码本和利用有效相似比来动态调整聚类个数K,最后完成了连体段聚类。实验结果表明:与传统K-means算法相比,改进的K-means算法得到了较好聚类效果,聚类正确率达90%以上。

维吾尔语词向量的评测研究

目前探究维吾尔语词向量表示的相关研究报道很少,在对其性能评价、实际使用等方面存在一些问题亟待解决.基于此,构建了维吾尔语版wordsim240和word analogy词向量评测数据集;提出了新的单词语义相似度评测方法,并以命名实体识别任务作为实际任务验证其有效性;同时分析了改进的类比推理评测方法鉴别词向量表示语义的能力.实验结果显示,提出及改进的方法均能有效应用于评测任务;且在较小语料规模下,较低维度(64,128,256维)的词向量在各项评测任务上表现更好.

一种基于HMM的维吾尔文联机手写识别的方法

在维吾尔文联机手写识别过程的训练阶段,单词被切分成字母,经过特征提取和聚类形成特征向量作为模型的输入。构造出以字符为基元的隐马尔可夫模型(HMM),将其嵌入到识别字典网络中。通过基于HMM的分类识别器,最终得到识别结果。首次将消除延迟笔画、建立有延迟笔画和无延迟笔画的字典的方法应用于维吾尔文手写识别中,取得了较高的识别率。

一种改进的维吾尔文图像倾斜校正方法

在维吾尔文扫描过程中,输入的文档不可避免地会发生倾斜现象,而现有的方法只进行了初步的倾斜校正.针对上述情况,同时为了方便维文图像的切分和识别工作,提出将基于凸多边形的最小面积外接矩形法和基线拟合法相结合的检测和校正图像方法.首先利用基于凸多边形的最小面积外接矩形法实现初步的倾斜校正,然后提取一行文本后采取基线拟合的方法实现文本行的单独校正,最后把校正过的所有文本行整合成一个文档.实验结果表明,该方法是行之有效的采用,该方法比现有方法在字母切分的准确率上平均提高约5%,最高提高约7%.