基于层叠隐马模型的汉语词法分析

提出了一种基于层叠隐马模型的汉语词法分析方法 ,旨在将汉语分词、词性标注、切分排歧和未登录词识别集成到一个完整的理论框架中 在分词方面 ,采取的是基于类的隐马模型 ,在这层隐马模型中 ,未登录词和词典中收录的普通词一样处理 未登录词识别引入了角色HMM :Viterbi算法标注出全局最优的角色序列 ,然后在角色序列的基础上 ,识别出未登录词 ,并计算出真实的可信度 在切分排歧方面 ,提出了一种基于N 最短路径的策略 ,即 :在早期阶段召回N个最佳结果作为候选集 ,目的是覆盖尽可能多的歧义字段 ,最终的结果会在未登录词识别和词性标注之后 ,从N个最有潜力的候选结果中选优得到 不同层面的实验表明 ,层叠隐马模型的各个层面对汉语词法分析都发挥了积极的作用 实现了基于层叠隐马模型的汉语词法分析系统ICTCLAS ,该系统在 2 0 0 2年的“九七三”专家组评测中获得第 1名 ,在 2 0 0 3年汉语特别兴趣研究组 (ACLSpecialInterestGrouponChineseLanguageProcessing ,SIGHAN)组织的第 1届国际汉语分词大赛中综合得分获得两项第 1名、一项第 2名 这表明 :ICTCLAS是目前最好的汉语词法分析系统之一 。

三位一体字标注的汉语词法分析

针对汉语词法分析中分词、词性标注、命名实体识别三项子任务分步处理时多类信息难以整合利用,且错误向上传递放大的不足,该文提出一种三位一体字标注的汉语词法分析方法,该方法将汉语词法分析过程看作字序列的标注过程,将每个字的词位、词性、命名实体三类信息融合到该字的标记中,采用最大熵模型经过一次标注实现汉语词法分析的三项任务。并在Bakeoff2007的PKU语料上进行了封闭测试,通过对该方法和传统分步处理的分词、词性标注、命名实体识别的性能进行大量对比实验,结果表明,三位一体字标注方法的分词、词性标注、命名实体识别的性能都有不同程度的提升,汉语分词的F值达到了96.4%,词性标注的标注精度达到了95.3%,命名实体识别的F值达到了90.3%,这说明三位一体字标注的汉语词法分析性能更优。

字标注汉语词法分析中上文和下文孰重孰轻

汉语词法分析是中文信息处理的基础,现阶段汉语词法分析的主流技术是基于统计的方法,这类方法的本质都是把词法分析过程看作序列数据标注问题。上下文是统计方法中获取语言知识和解决自然语言处理中多种实际应用问题必须依靠的资源和基础。汉语词法分析时需要从上下文获取相关的语言知识,但上文和下文是否同样重要呢?为克服仅凭主观经验给出猜测结果的不足,对基于字标注汉语词法分析的分词、词性标注、命名实体识别这3项子任务进行了深入研究,对比了上文和下文对各个任务性能的影响;在国际汉语语言处理评测Bakeoff多种语料上进行了封闭测试,采用分别表征上文和下文的特征模板集进行了对比实验。结果表明,在字标注框架下,下文对汉语词法分析性能的贡献比上文的贡献高出6个百分点以上。

应用条件随机场进行汉语词法分析研究

中文分词是一个困难的、重要的被广泛研究的序列数据建模问题。以往应用条件随机场进行汉语分词时,将分词转化为对汉字的标注,造成了大量的冗余的候选切分,以至于在分词过程中大大降低了分词的速度。提出了使用词图作为基础的标记序列来完成汉语的词法分析,这样充分利用了现有的词典资源,在属性框架的选择时也可以方便地融合语言知识,并且长度歧视及状态歧视方面的影响也被减到最小。提出了应用条件随机场来构建统一的汉语词法分析。

汉语词法分析系统ICTCLAS在Nutch-0．9中的应用与实现

分析了Nutch的语言分析器结构，针对Nutch对中文进行单字切分的不足，结合基于多层隐马模型的汉语词法分析系统ICTCLAS，以JavaCC脚本设计了可扩展的词法分析器，实现了Nutch对中文的词语切分。实验表明，利用JavaCC和ICTCLAS分词系统实现的中文分词完善了Nutch的中文搜索功能。

论现代汉语词法欧化的有限性

汉语欧化现象主要受英语影响所致,但汉语在英语影响下所发生的种种变异未必都是欧化。本文首先从形态学角度对汉语"欧化"的概念进行界定,然后着重讨论现代汉语词法在英语影响下所发生的两种主要变异,指出其中的欧化现象,并进一步论证其对现代汉语词法影响的有限性。

面向真实文本的汉语词法自动分析系统

将汉语词法分析看作一个整体, 提出了一个一体化的词法分析模型。该模型能将词形、词性和词义等不同层面的统计信息有机地融合在一起。在此基础上, 面向汉语真实文本, 采用启发式的A* 解码算法, 实现了一个基于该模型的汉语词法自动分析系统。分别对系统进行了初步的开放和封闭测试,

《汉语词法:语言学和认知的研究》评述

<汉语词法:语言学和认知的研究>(The Morphology of Chinese:A Linguistic and Cognitive Approach)是英国剑桥大学出版社2000年出版的一本研究汉语词法的著作.作者JeromeL. Packard是美国伊利诺艾斯大学东亚语言学系汉语和语言学教授,多年来一直致力于汉语研究,曾发表和出版过多篇有影响的论文和若干专著.

汉语拼音方案和正词法基本规则及其应用

这里强调汉语拼音方案是一个整体,说明方案规定的字母名称的合理性,为了建立词的观念,应当教学正词法。介绍正词法基本规则的主要内容,提出词汇性大写的概念。说明汉语拼音的用途,着重讨论了地名的拼写问题。

《汉语拼音正词法基本规则》解读与成语注音问题研究

成语注音问题是学术界和词典编撰者一直关注的问题,但至今没有得到很好的解决。本文在认真阅读了多年来有关论文的基础上,在研究了数本词典的成语注音实践的基础上。力图正确解读《汉语拼音正词法基本规则》中有关条款的理念,在成语注音“连中有分,分而又连”的总原则下,进一步将成语(根据内部结构)分成“半连写、半半连写、全连写”三种注音方式,以求达到使今后的成语注音科学、易行并统一起来的目的。

词的确定和汉语拼音正词法的处理

词的确定是“词式书写”的前提条件。汉语词的确定尽管很复杂,但依然具有可行性。本文从“词”的定义的分析入手,提出确定词的通用、典型、系统、柔性等原则及具体方法,并对现行的汉语拼音正词法提出修订意见。

汉语拼音正词法及其在对外汉语教学中的应用

讨论了汉语拼音分词连写的必要性,简要介绍了《汉语拼音正词法基本规则》的基本内容,列举了一些对外汉语教学中不符合正词法的现象,分析了出现这些现象的原因,并提出了解决问题的对策。

汉语构词法能产性对乌尔都语者汉语词汇习得影响的研究

汉语构词法能产性已被证明是影响母语词汇认知加工的,但它是否影响汉语二语词汇习得仍有待进一步研究。本文通过乌尔都语者的汉语词汇命名实验,尝试从汉语构词法性质能产性、数量能产性两个角度分析汉语构词法能产性是否影响乌尔都语者习得汉语词汇。实验发现:由能产构词法产出的词的命名反应时短于由不能产构词法产出的词的命名反应时;偏正型、动宾型、联合型、补充型、主谓型复合词的命名反应时依次增加,但有违语料库研究中的汉语复合构词法数量能产性次序。在排除乌尔都语母语迁移影响的前提下,本文论证了汉语构词性质能产性的确影响乌尔都语者学习汉语词汇,但数量能产性则不然。

汉语拼音正词法与汉语的《词式书写》

汉语拼音正词法与汉语的﹃词式书写﹄彭泽润一、“正词法”是“汉语拼音”的完善《汉语拼音方案》公布３０年以后的１９８８年７月，由国家教育委员会和国家语言文字工作委员会制定公布了《汉语拼音正词法基本规则》。１９９６年《汉语拼音正词法基本规则》又作为国家标准...

黎锦熙的汉语构词法研究及其贡献

分析阐述了黎锦熙汉语构词法研究的基本内容及其理论体系,揭示并评述了黎锦熙在汉语构词法研究上的建树,肯定了其理论观点对现代汉语词汇研究的贡献和价值。

《汉语拼音正词法基本规则》“动词”部分细则分析

《汉语拼音正词法基本规则》确定了“以词为拼写单位”“表示一个整体概念的双音节和三音节结构,连写”的总原则,前一个原则简称为“词式书写”原则,后一个原则简称为“整体性”原则。通过对“动词”部分的三条细则以及涉及的语言事实进行分析和讨论,发现有的细则与《正词法》的整体性原则相违背,有待进一步讨论和规范。

《正词法》在《信息处理用现代汉语词类标记规范》中的适用性讨论

为了全面总结、宣传《汉语拼音方案》推行的成绩、经验,进一步研究确定在新的历史时期做好汉语拼音推行工作,使其在全面建设小康社会和促进经济社会发展中做出新的更大的贡献,由教育部语言文字信息管理司主办、中国应用语言学会(筹)承办、中国语言学会等10家学会协办的纪念《汉语拼音方案》颁布50周年学术研讨会于2008年4月21日在京举行。与会专家围绕如何在新形势下进一步完善《汉语拼音方案》及其应用规范、方案在应用中存在的问题以及如何进一步做好推行工作等进行了认真研讨,提出了许多建设性意见,本期刊出专家们的发言摘要,发言全文已刊登在本刊2008年增刊上。

汉语构词法与造句法的一对矛盾

汉语构词法与造句法的一对矛盾孙银新在现代汉语句法中，副词“不”一般不能直接修饰名词。平常虽有“人不人，鬼不鬼”、“什么山不山的”之类的说法，但这都是一些特殊格式，总是要对举或连说才能成立。单独的“不人”、“不鬼”、“不山”在汉语中是不成话的。可是在构...

汉语构词法研究史的第一幅全景图——评《汉语的构词法研究》

《汉语的构词法研究》是第一部构词法研究史的专著,一部体大思精、有突出学术价值的语言学专题史专著。该书在结构的安排、文献的梳理、理论的概括等方面,胜义纷呈。

《正词法》在《信息处理用现代汉语词类标记规范》中的适用性讨论

《汉语拼音方案》伴随着祖国的发展建设走过了半个世纪,她在文化、教育、科技、经济各个领域都发挥了巨大的作用,创造了不可估量的价值。《汉语拼音方案》颁布后,汉语拼音正词法问题就被积极地提出来,作为重要的研究课题。1984年10月,中国文字改革委员会发表了《汉语拼音正词法基本规则(试用稿)》。1988年7月1日,国家教育委员会。