基于规则、串频统计和上下文关系的现代汉语分词系统的实现

介绍了一种集合了规则、串频统计和中文上下文关系分析的现代汉语分词系统.系统对原文进行三次扫描,首先将原文读入内存,利用规则将原文变成若干个串,构成语段十字链表;然后对每个串中的子串在上下文中重复出现的次数进行统计,把根据统计结果分析出的最有可能是词的子串作为临时词;最后利用中文语法的上下文关系并结合词典对原文进行分词处理.系统对未登录词的分词有很好的效果.

书面汉语自动分词专家系统设计原理

本文深入地分析了歧义切分字段产生的根源和性质,把歧义字段从性质上划分为四类,并给出了消除每一类歧义切分字段的有效方法。在对歧义字段进行统计分析的基础上提出了切分精度的“四级指标体系”,井论证了专家系统方法是实现自动分词系统的最佳方案。

书面汉语自动分词专家系统的实现

本文介绍了书面汉语自动分词专家系统的实现方法,着重分析了该专家系统中知识库的组织与实现,以及所用的推理机制与自动分词过程。最后给出了实验结果,该结果表明自动分词专家系统的性能极为优异(其切分精度远远高于一般的自动分词系统)。

现代汉语自动分词评测技术研究

对现代汉语自动分词软件评测技术提出了理论依据和实用算法。提出了分词软件的质量评价原则；评测语料库、歧义切分、人名、地名等各项评测内容的选择依据；《分词规范》

从自动分词角度看先秦与现代汉语词汇区别

自动分词是古今汉语信息化所面临的共同课题。但古今汉语存在较大区别,现代汉语分词方法难以直接应用于古代汉语分词。为更好地借鉴现代汉语分词方法,探索符合先秦汉语的分词方法,从语言开放度、语言发展的表现及阶段、复音词的分布及构成、高频词的分布四个方面对先秦汉语与现代汉语的词汇进行了比较。发现先秦汉语既有区别于现代汉语的分词难点,又有独特的分词优势。

汉语自动分词系统的评价

汉语自动分词是中文信息处理中最基本的工作。近年来 ,已有多种自动分词软件问世 ,但尚无评价此类软件的标准、模型和方法。本文针对自动分词软件的特点 ,提出了自动分词软件的评价准则 ,并给出了定性和定量的度量方法。

神经网络专家系统集成式汉语自动分词技术

一、神经网络专家系统分词方法的基本构想 神经网络专家系统(NNES)是以人工神经网络为核心建造的一种集成式智能系统,它与传统的人工智能的关系不是简单取代而是互为补充辨证统一的关系,它不仅可以实现专家系统的基本功能,模仿人类专家的逻辑思维方式进行推理决策和问题求解;还具有学习能力、自适应能力、并行推理和联想记忆能力。 一个神经网络专家系统可以定义为一个四元组 NNES=(KB,NN,EX,SM)

汉语自动分词系统设计

介绍了应用高级程序没计语言标准 C++,对应用于中文搜索引擎的汉语自动分词系统设计方法进行了论述。

基于无指导学习策略的无词表条件下的汉语自动分词

探讨了基于无指导学习策略和无词表条件下的汉语自动分词方法 ,以期对研制开放环境下健壮的分词系统有所裨益 .全部分词知识源自从生语料库中自动获得的汉字Bigram .在字间互信息和t 测试差的基础上 ,提出了一种将两者线性叠加的新的统计量md ,并引入了峰和谷的概念 ,进而设计了相应的分词算法 .大规模开放测试结果显示 ,该算法关于字间位置的分词正确率为 85 .88% ,较单独使用互信息或t 测试差分别提高了 2 4 7%和 5 6 6 % .

汉语自动分词研究中的苦干理论问题

讨论了汉语自动分词研究中的若干理论问题：分词词表、歧义切分字段、生词以及全局和局部统计量，并提出了相应的处理策略。实用型汉语自动分词系统（对任意开放文本，切他精确率基本稳定在９９％左右）的实现已为期不远。

图书馆检索系统及其汉语自动分词的实现

本文介绍了国内上图书文献检索系统的发展及其在我国的现状和所存在的问题，对汉语自动分词问题进行了阐述，并提出了一种综合的分词方法。

书面汉语自动分词的“生成——测试”方法

词链现象是书面汉语自动分词的困难所在,本文针对词链现象的复杂性,提出了一种“生成——测试”分词法。这种方法以知识为基础,它通过词典的动态化、分词知识的分布化、分词系统和句法语义系统的协同工作等手段实现了词链的有效切分和汉语句子切分与理解(生成格结构)的并行。“生成——测试”方法反映了人的分词和理解过程。

“信息处理用现代汉语分词规范”的若干问题探讨

汉语信息处理技术的重点已由单个字符处理过渡到词处理和句子处理,过渡的基点是分词,一个统一的分词规范国家标准对于众多信息处理系统之间的兼容性具有不言而喻的重要意义。目前,“信息处理用现代汉语分词规范(国家标准)”正在制订和审定。本文讨论了几个与此相关的问题,分析了汉语信息处理用词的特点,对“分词规范”和汉语拼音正词法作了比较,对“分词规范”和民族语用心理习惯的关系也进行了探讨,在此基础上,作者对“分词规范”提出了一些个人意见和建议。

汉语自动分词研究的现状与新思维

汉语自动分词是机器翻译、文献标引、智能检索、自然语言理解与处理的基础。本文对十余年来的汉语自动分词的研究方法与成果进行了综合论述，分析了现有分词方法的特点。

汉语自动分词和自动标引方法研究

中文自动标引一直是学界研究的热点。本文主要研究了两个方面 :自动分词方法和自动标引方法。通过全面的比较研究 ,本文认为自动分词方法可以分为五个类型 ,自动标引的方法分为七种。

一种基于概率模型的分词系统

汉语自动分词是中文信息处理中的基础课题。本文首先对汉语分词的基本概念与应用,以及汉语分词的基本方法进行了概述。接着引出一种根据词的出现概率、基于极大似然原则构建的汉语自动分词的零阶马尔可夫模型,并重点剖析了EM(Expectation- Maximization)算法,最后给出了一个基于本模型的汉语文本处理仿真系统。

自动分词中未登录词问题的一揽子解决方案

确定未登录词边界是汉语自动分析中特有的一个问题，未登录词的种类和数量之多，是处理大规模真实文本的严重障碍。本文分析了现有的解决未登录词问题的各种方案，提出两趟分词、在“分词碎片”中计算单字成词概率和未登录词概率的一揽子解决方案，并报告一个初步的、令人鼓舞的开放测试结果。

汉语分词技术综述

分词是中文信息处理的基础,在汉语文本分类、文献标引、智能检索、自然语言理解与处理等应用中,首先都要对中文文本进行分词处理。从分词的基本理论出发,对近年来的汉语分词的研究方法与成果进行了综合论述,分析了现有分词方法的特点,提出了把神经网络和专家系统结合起来建立集成式汉语自动分词系统的构想。

构建Web自动答疑系统的关键技术分析

应用统计学方法对汉语分词过程及词表法组织全文搜索过程进行了详细分析,对Web服务整合的内容及实现方法进行了具体剖析。