基于扩展N元文法模型的快速语言模型预测算法

针对基于动态解码网络的大词汇量连续语音识别器,本文提出了一种采用扩展N元文法模型进行快速语言模型(Language model,LM)预测的方法.扩展N元文法模型统一了语言模型和语言模型预测树的表示与分数计算方法,从而大大简化了解码器的实现,极大地提升了语言模型预测的速度,使得高阶语言模型预测成为可能.扩展N元文法模型在解码之前离线生成,生成过程利用了N元文法的稀疏性加速计算过程,并采用了词尾节点前推和分数量化的方法压缩模型存储空间大小.实验表明,相比于采用动态规划在解码过程中实时计算语言模型预测分数的传统方法,本文提出的方法在相同的字错误率下使得整个识别系统识别速率提升了5～9倍,并且采用高阶语言模型预测可获得比低阶预测更优的解码速度与精度.

《红楼梦》词和N元文法分析

【目的】研究《红楼梦》前八十回与后四十回的关系,从而判定《红楼梦》是否为一人所写。【方法】定量统计和定性分析相结合,比较前、中、后四十回的独有词;利用虚词、词及词类的N元文法模型、实词以及词长进行聚类;计算三个部分的相似度。【结果】证明前八十回与后四十回有差异。前八十回用词连贯性较高,更重视细节描写,长词较少,可读性更强;后四十回更重视动作和场景化描写,长词较多,可读性稍弱。【局限】仅限于词和N元文法,未能进一步考察语义、语篇等方面的特征。【结论】从词、词类、短语串和词类串等方面分析,前八十回与后四十回很可能并非一人所作。

N-gram语言模型中的插值平滑技术研究

本文研究了N元文法(N gram)统计语言模型中的4种插值平滑算法,在中文语言模型中进行了应用,从语言模型复杂度的角度比较了该4种方法解决零概率问题的效率。

基于MicroWindows的多设备支持智能中文输入系统

针对现有嵌入式中文输入系统输入设备种类支持单一、中文输入引擎效率低、用户体验差等问题,提出一种基于MicroWindows的智能中文输入系统。系统首先在前端的设备输入实现层模块式完成了不同类型的设备消息封装投递,然后在消息处理中心对各种输入设备的投递信息进行集中处理,通过统一分发处理的方式编码为输入法处理的消息类型,最后结合改进N元文法模型与用户模型实现中文输入引擎。MIPS等硬件平台的实际应用结果表明,该系统运行状态良好,汉字输入流畅快捷,比以往的中文输入方式提高了35%的输入效率。

高性能中文垃圾邮件过滤器

设计并实现了基于在线过滤模式高性能中文垃圾邮件过滤器,能够较好地识别不断变化的垃圾邮件。以逻辑回归模型为基础,该文提出了字节级n元文法提取邮件特征,并采用TONE(Train On or Near Error)方法训练过滤器。在多个大规模中文垃圾邮件过滤公开评测数据上的实验结果表明,该文过滤器的性能在TREC 06C数据上优于当年评测的最好成绩,在SEWM07立即反馈上1-ROCA值达到了0.000 0%,并明显优于SEWM08评测在线过滤任务中的所有其他方法。

一种混合的中文文本校对方法

本文以模式匹配的方法和３元文法分析的方法为基础，结合语法属性标注和分析的方法，提出了一种混合的中文文本校对方法，其结果优于任何一种方法的单独应用。

基于上下文特征分类的评论长句切分方法

商品评论文本对消费者和商家的决策都有重要参考价值。用户在评论中使用的语言较为随意,语法结构不规则,给文本分析带来很大难度。正确的句子切分是文本信息抽取和挖掘工作的基础。为解决商品评论中用户省略标点情况下的句子切分问题,基于上下文特征,提出使用机器学习的方法对评论长句进行切分。根据大规模评论语料的统计特征选取候选句子切分点,对每一个候选句子切分点提取其上下文特征,并根据语料的统计特征,使用逻辑回归对候选切分点进行分类。实验结果表明,该方法能够有效解决商品评论中用户省略标点情况下的句子切分问题。

一种新的潜在语义分析语言模型

提出了基于聚类的方法实现词的快速量化表示,并由此导出潜在语义分析语言模型预测置信度,同时运用新提出的几何加权静态插值方式同三元文法模型相结合,构建了一种新的潜在语义分析语言模型,并将其应用于汉语语音识别.实验表明其效率和性能均优于传统基于奇异值分解的潜在语义分析语言模型,相比于三元文法模型,识别错误率相对下降为3.6%～7.1%左右,并为有效量化表示词对进一步提高潜在语义分析语言模型性能提供了新的途径.

基于逻辑回归模型的中文垃圾短信过滤

设计并实现中文垃圾短信过滤器,能够较好识别不断变化的垃圾短信。以逻辑回归模型为基础,提出字节级n元文法提取短信特征,并采用TONE(Train On or Near Error)方法训练过滤器。通过实验测试,证明应用该方法实现的垃圾短信过滤效果很好。

信息检索中的中文分词问题研究

分析了信息检索中的中文分词歧义问题,引入N元文法和平滑算法对切分歧义问题和数据稀疏问题进行处理解决,从而来提高信息检索速度和质量。

潜在语义分析在连续语音识别中的应用

研究了潜在语义分析(LSA)理论及其在连续语音识别中应用的相关技术,在此基础上利用WSJ0文本语料库上构建LSA模型,并将其与3-gram模型进行插值组合,构建了包含语义信息的统计语言模型;同时为了进一步优化混合模型的性能,提出了基于密度函数初始化质心的k-means聚类算法对LSA模型的向量空间进行聚类。WSJ0语料库上的连续语音识别实验结果表明:LSA+3-gram混合模型能够使识别的词错误率相比较于标准的3-gram下降13.3%。

军用文书自动生成中表层实现的概率模型

一种基于语料库的军用文书自动生成中表层实现的概率模型。运用最大熵模型,把N元文法语法模型获取的生成文本中词汇间的同现概率信息、句法依赖树中的句法信息和属性信息进行有机结合,生成文书文本。实验结果证明,该模型可以逐个词汇地生成满足要求的文本。

关于汉语音字转换中语言模型零概率的问题

本文研究了音字转换中使用的语言模型问题，从语言模型复杂度的角度研究了三种解决零概率问题的方法的效率，back-off方法，删除插值和非线性插值方法．并且给出了这些方法下使得语言模型复杂度最小的参数的递推公式，通过实验验证了这些递推公式的正确性．

利用FP-树构造多词Trigger对语言模型

在语音识别系统中,Trigger模型作为语言模型的一种,用于描述长距离词与词之间的关系,然而以往的Trigger语言模型多是针对单个词的模型,本文借鉴数据挖掘中关联规则发现的Apriori算法,利用效率比较高的FP树算法产生多词Trigger对,由此构造多词Trigger对语言模型,这种模型能够更多地利用历史数据,弥补了传统N元文法语言模型描述距离小于N的缺点.

基于聚类和分类的金庸与古龙小说风格分析

该文以金庸与古龙的小说作为语料,从计算风格学的角度考察二人的风格差异。对比了两人小说的文本从众性、句子破碎度,同时,使用文本聚类的方法对词和词类的N元文法,标点符号的N元文法以及多种特征的总体情况进行了考察,还使用主成分分析和文本分类对八种特征从总体上进行了比较,结果证实金庸与古龙小说风格存在较大差异:金庸小说从众性大于古龙,较多使用俚语方言,口语性更强,同时在语法结构、短语结构、文本节奏以及文本可读性和语言变化程度上也有较大的差异。

基于共现分析的分类器链标签序列优化方法

针对分类器链模型采用随机生成方式确定标签序列会极大影响分类器链性能的问题。通过共现分析技术深入挖掘标签间的潜在关系,提出一种基于贪心算法和n-gram模型的两种标签序列优化策略以提升分类器链模型性能。基于贪心算法的策略通过计算和排序标签之间共现率来生成优化的分类器链标签序列,而基于n-gram模型的策略则通过最大化标签之间条件概率来生成优化的分类器链标签序列。最后通过多个多标签基准数据集进行实验验证,实验结果表明,与当前流行的各种分类器链模型相比,所提的两种策略很有竞争力,可以明显提升多标签分类效果。

基于统计与规则相结合的汉语计算语言模型及其在语音识别中的应用

把基于统计的语料概率统计方法与基于规则的自然语言理解方法结合起来，提出了一种新的汉语计算语言模型，并把该模型应用于语音识别后处理模块中，取得了较理想的结果。

一种汉语语音网络搜索方法

语音的网络搜索,不同于传统文字输入的搜索方式,它可应用于特定的环境场合,而且汉语语音搜索将是未来网络技术发展的重要方向.本文将从汉语语言模型建立和语音网络搜索两个主要方面,给出一种适合汉语的网络搜索方法.