四种基本统计句法分析模型在汉语句法分析中的性能比较

统计模型的选择是统计句法分析的关键。目前句法分析常用的有四种经典统计模型—PCFG模型 ,基于历史模型、分层渐近式模型和头驱动模型。本文通过实验 ,在已有的 10 0 0 0句汉语树库基础上 ,测试了这四种经典模型在现有数据规模下各自的性能 ,并论述了这四种经典模型的各自特点。本文旨在通过对四种基本模型的比较研究 ,为具体应用中句法分析模型的选择提供参考和依据。

统计句法分析建模中基于信息论的特征类型分析

统计句法分析利用概率评价模型评价每棵候选句法树存在的可能性 ,选择概率值最高的候选句法树作为最终的句法分析结果 .因此 ,统计句法分析的核心是一个概率评价模型 ,而各种概率评价模型的本质区别主要在于它们分别是根据上下文中的哪些特征来赋予句法树概率的 .在统计句法分析研究领域 ,虽然已经提出了大量的概率评价模型 ,然而 ,不同的模型用到了不同类型的特征 .如何评价这些特征类型对于句法分析的作用呢 ?针对以上的问题 ,本研究为统计句法分析提出了一种特征类型的分析模型 ,该模型可以从信息论的角度量化地分析不同类型的上下文特征对于句法结构的预测作用 .其基本思想是利用信息论中熵与条件熵的度量来显示一个特征类型是否抓住了预测句法结构的主要信息 .如果加入某个特征类型之后当前句法结构的不确定性 (熵 )明显下降 ,则认为该特征类型抓住了上下文中影响句法结构的某些主要信息 .特征类型分析的信息论模型利用预测信息量、预测信息增益、预测信息关联度以及预测信息总量四种度量从不同的侧面量化地分析各种特征类型及特征类型组合对于当前目标的预测作用 .实验以 Penn Tree Bank为训练集 ,将上下文中不同的特征类型对于句法分析规则的预测作用进行了系统的量化分析 。

融合丰富语言知识的汉语统计句法分析

知识获取一直以来是自然语言处理中的瓶颈,基于树库的统计句法分析也不例外。树库中潜在隐含的语言知识是非常丰富的,但它们并不是可以直接得到,往往需要特定的策略才能将它们融合到模型中。我们的汉语统计句法分析模型从3个方面融合潜在的丰富语言知识:1)重新标注树库中的非递归名词短语和非递归动词短语;2 )设计新的中心词映射表;3)引进上下文配置框架以更具体地描述二元依存结构。由于融合了以上三种潜在语言知识,模型的F1值提高了2 37% ,完全匹配正确率提高了5 36 %。

基于依存关系的句法分析统计模型

利用语义、语法等语言知识,建立一种基于依存关系的句法分析统计模型,并利用改进的句法分析模型进行句法分析实验。研究结果表明:利用依存关系、互信息对词聚类,能解决模型数据稀疏问题;模型可同时考虑几种语义依存关系;该模型是一个词汇化的句法分析模型,能结合分词、词性标注进行句法分析;概率上下文无关语法中由概率的上下文无关性假设和祖先结点无关性假设引起的问题在该模型中得到有效解决;精确率和召回率分别为86.96%和85.25%,其综合指标F与Collins的头驱动句法分析模型的F相比提高4.75%。

基于配价结构和语义依存关系的句法分析统计模型

目前主流的词汇化句法分析方法仅仅考虑词语之间的语义依存关系,而没有引入语义搭配和语义类等语义信息./配价0是词语的一个比较本质的特点,一旦一个词语的配价结构确定下来,它应该和怎样的词进行搭配也就比较清楚了,从而也可以比较直接地导出句子的结构.本文结合中心词驱动句法分析模型,提出了基于配价结构和语义依存关系的句法分析模型.模型在规则的分解及概率计算中引入丰富的语义信息,既包括语义依存信息,也包括配价结构等语义搭配信息.用改进的句法分析模型进行句法分析实验,实验结果表明,精确率和召回率分别为88176%和87143%,综合指标F值比Collins的中心词驱动句法分析模型提高了6.65个百分点.

融合语言知识的统计句法分析

利用语义、语法等语言知识,建立一种分层句法分析统计模型,并进行句法分析实验。研究结果表明:该模型具有规则和统计相结合的特点,且在层次分析的不同阶段,根据不同的语法、语义、语用特性采用不同的方法和不同的统计模型;该模型结合分词、词性标注进行句法分析,是一个词汇化的句法分析模型,可同时考虑多个语义依存关系;采用该模型,精确率和召回率分别为87.23%和86.15%,其综合指标F与头驱动句法分析模型的相比提高了5.25%。

门诊中药房退药原因的统计学分析

目的:通过对门诊中药房退药处方进行分析,找出退药的主要原因。方法:利用统计方法找出退药的主要原因。结果:造成退药的主要原因为不良反应、药品价格较高、患者服药配合度低,重复用药为次要因素。结论:针对分析,应在工作中健全制度、完善管理,加强对患者用药指导,提高患者用药质量,增进内部沟通,加强药剂师参与度。

一种基于概率上下文无关文法的汉语句法分析

本文研究了PCFG独立性假设的局限性,并针对这一局限性提出了句法结构共现的概念以引入上下文信息,给出了计算方法;为了打破中文树库规模过小的局限性,对于句法规则参数的获取,本文利用In-side-Outside算法进行迭代,最后提出了一个基于统计模型的自顶向下的汉语句法分析器。在封闭测试下,其标记精确率和标记召回率分别为88.1%和86.8%。实验结果表明,这种方法确实能够提高标记的精确率和召回率,值得深入研究。

基于词聚类的依存句法分析

利用语义、语法等语言知识,对中心词驱动的句法分析模型规则进行分解和修改,结合分词、词性标注进行句法分析,提出一种可同时考虑多个语义依存关系的模型。利用互信息给出基于邻接关系、语义依存关系的2种词相似度定义,提出一种自下而上的分层聚类算法,以解决中心词驱动模型数据稀疏问题,用改进的句法分析模型进行句法分析实验。研究结果表明:模型精确率和召回率分别为88.14%和86.93%,综合指标比Collins头驱动句法分析模型的综合指标提高6.09%。

多阶直动调压阀芯同轴度加工误差的统计分析与控制

针对调压阀芯加工过程产生的同轴度误差,通过统计法误差分析(直方图和点图)精确找出产生误差的原因,即由磨床头架和夹具体产生的常值系统性误差、由弹性夹套产生的变值系统性误差和随机性误差;同时,在误差分析结果的指导下调整阀芯加工定位方式,使阀芯的加工质量得到有效保证。

基于最大熵模型的汉语依存分析

采用最大熵模型实现中文依存语法的分析。用自底而上的方式构建语句的依存关系树,构建过程每一步在向左连接、向右连接以及不连接3种动作选取其一。用最大熵原理判断每个动作的概率,得到依存树中各边的概率,然后找出具有最大概率的依存关系树。实验结果表明,该模型具有较好的分析精度。目前,该模型已被应用于基于自然语言的信息检索项目中。

大规模真实文本处理的理论与方法——记第五届国际极大规模语料库研讨会(WVLC-5)

大规模真实文本处理的理论与方法———记第五届国际极大规模语料库研讨会（ＷＶＬＣ－５）黄昌宁清华大学１．背景随着因特网和光盘等大容量存储技术的迅速普及，机储文本语料库的规模已冲破１万亿（１０１２）字节。这种情况一方面带来了巨大的商业利益，促进了信息咨询...