语句拼音-汉字转换的智能处理机制分析

语句拼音－汉字转换是中文信息处理研究的一个重要方面，是键盘汉字输入和语音输入的核心技术，其主要特征是对动态输入的拼音串进行词法分析，给出所有可能的汉语句子，然后对这些汉语句子根据上下文环境进行句法分析和语义分析，动态调整句子中的字词，输出最佳结果。近年来，语句拼音－汉字转换系统大量应用了人工智能技术和机器翻译的理论，以期提高系统转换的准确率和增强系统的智能处理功能。本文分析了语句拼音－汉字转换系统所采用的核心技术，即知识支持、自动分词和动态调整等，讨论了语句拼音－汉字转换的处理方法和过程，知识库的组成结构，用于拼音串自动分词的算法和实现，音字转换中动态调整的概率模型等，本文还分析了现有语句拼音－汉字转换系统在拼音串自动分词和音字转换的动态调整中发生错误的原因。

一种基于N-Gram技术的中文文献自动分类方法

本文介绍一种基于n gram技术的、与语言无关的文献分类方法K meansaxiales (KMA) ,及其在中文文献自动分类中的应用。这种方法将文献转换成由n gram(n个连续的字符 )频次构成的向量。为压缩存储空间、提高处理速度 ,我们运用哈希函数将n gram映射为哈希码 ,对文献的分析实际上以哈希码频次为基础运行。采用KMA算法 ,我们对一个中文数据库进行了自动分类的实验研究 ,在比较实验结果的基础上 ,我们对KMA算法初始参数的选择进行了初步探讨。

一种中文文档的非受限无词典抽词方法

本文提出了一种非受限无词典抽词模型 ,该模型通过自增长算法获取中文文档中的汉字结合模式 ,并引入支持度、置信度等概念来筛选词条。实验表明 :在无需词典支持和利用语料库学习的前提下 ,该算法能够快速、准确地抽取中文文档中的中、高频词条。适于对词条频度敏感 ,而又对计算速度要求很高的中文信息处理应用 。

基于汉语二字应成词的歧义字段切分方法

文章提出了利用汉语中的二字应成词,计算汉语句内相邻字之间的互信息1及t-信息差这两个统计信息量的新方法,进而应用这两个统计量,解决汉语自动分词中的歧义字段的自动切分问题。实验结果表明,采用该文所述的方法,对歧义字段的切分正确率将达到90%,与其他分词方法相比较,进一步提高了系统的分词精度,尤其与文献1所述方法比较,对于有大量汉语信息的语料,将降低系统的时间复杂度。

基于词平台汉字编码的自动标引研究

自动标引是基于内容检索的关键技术之一。目前国内的汉语自动标引研究主要集中于汉语自动分词这个前期处理问题上。提出了一种基于词平台的汉字编码方法,建立了一种新的中文计算机文档表达格式,使词成为最小的信息单位,汉语分析无需再进行自动分词,可直接进行自动标引,从而提高自动标引的效率和质量。

基于对偶编码的中文分词算法

为了提高中文分词算法的切分速度和存储效率,提出一种基于对偶编码的特征匹配算法。由中文分词的字符集和字符相邻关系提取特征值,根据此特征值在中文分词词典中进行快速匹配,基于字符的位置相邻关系提取特征值,支持模糊匹配,因此无需对多字词进行单独匹配,从而有效节省匹配时间。实验仿真表明,该算法可以降低特征存储空间,有效提高中文分词精度和效率。

基于用户查询关键词的网页去重方法研究

在研究传统的基于特征码去重算法的基础上,针对元搜索引擎中网页重复现象,提出一种基于用户查询关键词的网页去重方法,提高元搜索引擎检索质量,并且介绍算法的实现过程,通过实验验证算法的有效性。

基于农业垂直搜索引擎中文分词词典的构建研究

在农业垂直搜索引擎研究过程中,中文分词是重要的研究方向。针对传统农业垂直搜索引擎搜索信息抽取不准确、速度慢等缺点,采用双数组Trie树为基本模型,利用中文词条首字区位码与数据库表行号相对应的方式,并根据农业垂直搜索引擎的需要设置了农业词汇的词性编码,以My SQL数据库为例设计了农业领域专用的分词词典。该分词词典可充分利用数据库的优势进行词典组织,并且可以进行词库的远程共享和共同维护,方便不同的系统进行访问;词条按首字分类存放构造双数组Trie树,可有效减少构造过程的内存空间。该农业分词词典结构对其他领域和行业也具有借鉴意义。

汉字编码输入法评测分析

介绍了汉字编码输入法国家标准,分析了一种广泛使用的音码输入法的评测结果,并进行了对比验证实验.结果表明,音码输入法原评测结果中存在一些误差较大的数据,输入法的平均码长和重码字词键选率两个性能指标未能达到国家标准.对比验证实验为改进音码输入法的性能提供了参考资料.

一个基于多代码页的中文屏幕实时解释引擎的设计

目前,在计算机中汉字有多种代码页,汉字的多代码页并存现象将长期存在。为了实现汉字多代码页并存,需要汉字代码页自动识别技术的支撑。屏幕实时解释引擎是目前各种在线字典、词典以及教学软件的核心技术,此技术目前存在不能跨代码页,取词不全面、不正确等缺陷。本文主要针对以上情况,描述了采用汉字内码的代码页自动识别技术以及优化的自动屏幕取词技术的中文屏幕实时解释引擎的系统架构,并阐述了数据词典的设计以及在设计中采用的关键技术。对五百万汉字样本的测试中,应用此引擎的在线词典对有意义短字符串(不包括单字)代码页的识别率可以达到99%以上。

一种基于词编码的中文文档格式

分析了汉语自动分词问题产生的根源和面临的困难,针对性地提出了一种基于词的中文编码方法和中文文档新格式,实现了以词作为中文文本的最小信息载体,使中文文本分析可以在词平台上实现,避免了自动分词对中文信息处理带来的障碍。基于中文词的编码方法,以每个词作为一个单位,对词进行编码。此方法避开了中文的自动分词问题,特别是解决了歧义切分的难题,并提出了一种利用文档格式解决未登录词问题的新思路。采用统计分析方法对词平台基础上的关键词自动抽取进行了实验研究,取得良好效果。

一种中文分词词典新机制——四字哈希机制

词典是中文自动分词的基础,分词词典机制的优劣直接影响到中文分词的速度和效率。本文首先分析了分词词典在中文信息处理中的作用和已有的三种典型的词典机制,并在此基础上根据中文词语中双字词语较多,并且三字词、四字成语也较多这一特点提出了一种新的分词词典机制-四字哈希机制,充分发挥了现代计算机内存大空间的优势,提高了分词的速度和效率。

基于词平台的中文文档实验系统的构建

文章提出一种新的中文文档实验系统,力求建立一个克服束缚中文信息处理发展的自动分词问题的实验研究平台。文章采用一种新的基于中文词的文本编码方法,对每个词进行编码,并使新编码与机内码联系起来。使用这种基于词的编码格式可以使词成为计算机中文处理中的最小信息载体,无须再进行中文分词。文章使用该方法进行了关键词自动抽取的实验研究。结果显示,基于词编码的中文文档实验系统能很好的解决中文分词问题,并给其它中文文本分析奠定良好基础。

UCDOS的曲线轮廓字库的分析

本文分析了 UCDOS和 Post Script曲线轮廓字库的结构和字型的显示过程 ,并按其结构编制了相应的

韩国现代用汉字字表及其存在的问题

从字量、字形、码位及其相互关系等方面对韩国目前最具代表性的三张汉字字表进行调查和分析,对三张汉字字表进行匹配项、非匹配项和覆盖率统计,订正4888字表的实际字量,指出三张汉字字表在字形、码位等方面存在的问题及调整建议,是韩国现代用汉字字量调查研究的初步成果。它将为韩国现代用汉字的字量研究、汉字文化圈内汉字的标准化研究、中日韩汉字共通化研究、汉字在韩国的传承与变异研究等提供准确的数据参考和资料支持。

解读王熙凤命运的密码——“一从二令三人木”探析

脂批所谓运用了“拆字法”的“一从二令三人木”句,历来是学界争论的焦点。但直至今日,有关王熙凤评语和结局的这七个字仍是聚讼纷纭的疑案。其实,这句话概括了凤姐在贾府中境遇不同的三个阶段:顺从人心、奠定基础的第一阶段,大权在握、威重令行的第二阶段,时非势败、终被休弃的第三阶段。

汉字输入教学系统中词组切分方法的设计

词组切分是现代中文信息处理的基础,是汉语自然语言理解与处理、机器翻译、智能检索、电子词典等信息处理的前提.分析了汉字输入训练中词组切分的特点,介绍了汉字输入训练中词组切分方法的具体设计以及切分词典的组织与检索上的一些方法和技巧.

汉字型姓名全自动转换首音码处理技术

汉字型姓名(以下简称姓名)转换为首音码的技术在各个领域已得到广泛应用。由于汉字的首音重码较多,一个姓名经转换会产生多个编码,通常的做法是根据建立者的理解确定一种编码方式。当其它用户使用首音码进行记录定位时,往往不知建立者选择重码音为何音,造成记录定位的失败。另外,当姓名转换首音码时,出现重码时需要选择,大大地降低了转换速度。在GBK汉字库范围内,通过分析汉字读音重码的情况,建立汉字首音码库,设计姓名自动转换成首音码编码和使用首音码进行记录定位的算法。

一种手写体汉字快速细化分割算法

提出了一种基于游程编码(run length encoding)的手写体汉字细化和分割快速算法。数据的输入与处理并行,汉字图象数据所占存贮空间仅为点阵方式的1/400。能将任何复杂汉字细化并分割为简单直线和弧线笔划。对汉字的结构特征抽取极为有利。此外,本文还提出一种新的边沿描述基段链码,其平均长度比Freeman链码短20％。

基于改进音形码与HowNet的中文词相似度检测算法

针对基于音形码或HowNet的中文词相似度检测算法无法同时考虑汉字的音、形、义特征,导致检测结果不准确等问题,提出改进音形码与HowNet相结合的中文词相似度检测算法。考虑缺少声母与韵母的情况,采用格雷码编码的音码进行改进。将形码的四角号码编码改为可较为细致描述汉字的笔顺编码。在加权编辑距离的基础上,改进字符串匹配方式。最后将改进的音形码与HowNet相结合。实验表明,无论从音形还是词义检测中文词相似度,算法有更高的准确度。