匹配树和决策树方法识别英语句子中的BaseNP

提出了语料库和机器学习相结合的方法识别英语句子中的简单的、非递归的名词短语 (Base NP) .在含有词性标注和 Base NP边界标注的训练语料中 ,抽取所有不同类型 Base NP短语对应的词性序列 (Base NP规则 ) ,通过规则排序和语言学知识 ,对其中正确率低且明显不符合语法的规则进行剔除 .在识别时 ,采取规则匹配树的方法进行最大长度匹配 ,通过归纳机器学习 C4.5算法引入上下文信息 ,由 C4.5算法学习出有效 (或无效 )应用 Base NP规则的条件 ,参照上下文条件 ,约束应用 Base NP规则 .实验结果表明 ,提出的方法具有很高的正确率和召回率 .

最大熵和Brill方法结合识别英语BaseNPs

为了进一步提高基本名词短语(BaseNPs)的识别精度,针对最大熵方法和Brill方法各自的特点,提出基于两者相结合的英语基本名词短语识别算法.该算法是在高准确率词性标注的基础上实现的.在训练和测试两个阶段中,均先采用最大熵方法识别基本名词短语,然后将已具有很高精度的识别结果作为初始标注结果运用于Brill方法中.实验结果表明,此联合算法达到了94%的准确率和召回率,充分融合了最大熵方法和Brill方法的优点,可与基于相同训练和测试语料的目前最理想的英语基本名词短语识别结果相比.

基于最大熵方法的中英文基本名词短语识别

使用了基于最大熵的方法识别中文基本名词短语 在开放语料ChineseTreeBank上 ,只使用词性标注 ,达到了平均 87 4 3% / 88 0 9%的查全率 /准确率 由于 ,关于中文的基本名词短语识别的结果没有很好的可比性 ,又使用相同的算法 ,尝试了英文的基本名词短语识别 在英文标准语料TREEBANKⅡ上 ,开放测试达到了 93 31% / 93 0 4 %的查全率/准确率 ,极为接近国际最优水平 这既证明了此算法的行之有效 。

汉语基本名词短语结构分析模型

本文提出了用词语潜在依存关系分析汉语ｂａｓｅＮＰ结构的模型，它有以下的特点：①将依存语法知识融入概率模型中，使得ｂａｓｅＮＰ结构分析在依存语法知识的指导下进行，其性能优于纯粹的概率模型——相邻模型；②词语潜在依存强度的获取算法是基于ＭＤＬ原则的，在模型建造时既考虑数据拟合性，又考虑模型归纳性，其性能优于基于极大似然原则的词语潜在依存强度获取算法；③词语潜在依存强度获取算法在复杂特征集上进行，可以有效地解决参数估计中的数据稀疏问题．实验结果显示，这个模型对于汉语ｂａｓｅＮＰ结构分析是有效的．

结合句法组成模板识别汉语基本名词短语的概率模型

文中首先给出了汉语基本名词短语（ｂａｓｅＮＰ）的形式化定义，并通过抽取ｂａｓｅＮＰ句法组成模板，显示了这个定义的可操作性．文中指出，句法组成模板只是识别ｂａｓｅＮＰ的必要条件，而非充要条件，仅靠句法组成模板并不能解决ｂａｓｅＮＰ识别中的边界模糊歧义和短语类型歧义问题．据此，把体现ｂａｓｅＮＰ内部组成的句法组成模板与体现上下文约束条件的Ｎ 元模型结合起来，形成了汉语ｂａｓｅＮＰ识别的新模型．实验证明，该模型的性能优于单纯基于词性标记的Ｎ

混合的汉语基本名词短语识别方法

提出一种混合的汉语基本名词短语(BaseNP)识别模型,包括采用语法规则、统计方法和组合分类器方法。利用BaseNP词的信息、词性信息及上下文句法信息,构建组合分类器,提高判断的准确性。在中文树库(CTB5.0)上进行实验,F值达到了90.09%,证明该方法能有效地识别BaseNP。

基于知识图的汉语基本名词短语分析模型

本文提出了一种基于知识图的汉语baseNP分析模型。它以知识图为知识表示方法 ,利用《知网》为语义知识资源 ,采用以语义为主、语法为辅的策略 ,先为短语中的每一个实词构造“词图” ,然后合并“词图”而组成“短语图” ,最后得到一个关于汉语baseNP结构信息和语义信息的知识图。因此它不仅分析了汉语ba seNP结构的内部句法关系 ,而且分析了汉语baseNP结构成分间的语义关系并以知识图的形式表示出了这种语义关系。实验结果表明这个模型对于汉语baseNP的分析是有效的。

基于归约的汉语最长名词短语识别方法

该文提出了最长名词短语(MNP)的操作性定义,分析了其构造和分布特征,并设计了一种基于baseNP归约的识别方法,利用MNP结构特性及起始有定成分、语义核心等语言学特征,缓解了最长名词短语长距离依赖与模型观察窗口受限的矛盾。开放测试取得了88.68%的正确率和89.21%的召回率;归约方法全面提升了识别性能,特别是将多词结构的调和平均值提高1%,优化幅度达6%以上,并且对长距离复杂结构有着更好的识别效果。

基于中心语块扩展的汉藏基本名词短语对的识别

该文提出汉藏基本名词短语对齐框架。从汉语基本名词短语出发,找藏文正确译文过程中,参考英汉短语对齐的方法,针对藏语的特殊性,提出基于中心语块扩展的藏语基本名词短语识别方法。提出词典与自动词对齐结果相结合的方法和基于序列相交的方法抽取藏语中心语块,再以扩展可信度为依据扩展中心语块。实验结果表明,基于序列相交的方法所抽取的汉藏基本名词短语对能够节省人工校正的工作量,有效辅助于汉藏基本名词短语库的建设。

最大熵方法在英语名词短语识别中的应用研究

研究英语名词短语识别不仅是句法分析的基本问题,而且是进行机器翻译的基础。针对英语名词短语传统识别算法存在速度慢,效率低的难题,为提高识别准确率,提出一种基于最大熵原理的英语基本名词短语识别方法。首先综合考虑英语短语结构特性和上下文的位置来建立特征集模板,采用改进的频次和平均互信息相结合方法提取有效特征,表示为最大熵模型形式,最大熵原理完成最后的识别过程。对Penn Treebank语料库中的英语名词短语进行仿真,证明改进方法对短语识别正确率和召回率均达90%以上,远远高于传统方法的识别率,是一种简单、快速、高效的英语名词短语识别方法。

基于语料库的基本名词短语研究

词类知识的粗糙和不完备是影响自动句法分析的一个重要因素。论文以一个完全按照语法功能标准建立起来的实词词类体系为依托,考察了基本名词短语的识别问题。研究表明,利用这个实词词类体系识别基本名词短语,正确率可以达到71.3%。

基于粗糙集的翻译方法的改进仿真研究

研究提高翻译算法的翻译准确性问题。由于英语名词短语语法复杂、规则多,导致传统机器翻译算法存在效率低、准确率不高难题。为提高英语名词短语识别准确率,提出一种粗糙集的名词短语识别方法。粗糙集方法把英语名词短语识别当成一个决策问题,通过粗糙集理论对特征约简和规则优化,最后对其进行进识别。采用粗糙集方法对WSJ英语名词短语样本进行仿真实验,仿真结果表明,粗糙集的名词短语识别正确率高于其它翻译方法,是一种有效英语名词短语机器识别方法。为实际设计提供依据。

基于例子的基本名词短语识别中词语分布相似度的研究

本文提出一种基于例子的基本名词短语的识别模型,并着重讨论了其中的词语相似度度量方法:首先根据词语在限定距离内的同现关系计算词语的关联度,然后利用关联词语和关联度建立词语的语境向量,并基于"相似语境中出现的词语相似"的假设,用词语出现的语境相似度来度量词语分布相似度.实验结果表明,这种基于分布的词语相似度度量方法是基于义类词典的相似度度量方法的重要补充.