基于最大熵分类器的语义角色标注

语义角色标注是浅层语义分析的一种可行方案.描述了一个采用最大熵分类器的语义角色标注系统,该系统把句法成分作为语义标注的基本单元,用最大熵分类器对句子中谓词的语义角色同时进行识别和分类.最大熵分类器中使用了一些有用的特征及其组合.在后处理阶段,在具有嵌套关系的结果中,只有概率最高的语义角色被保留.在预测了全部能够在句法分析树中找到匹配成分的角色以后,采用简单的后处理规则去识别那些找不到匹配成分的角色.最终在开发集和测试集上分别获得了75.49%和75.60%的F1值,此结果是已知的基于单一句法分析结果中最好的.最后提出了对该任务的一些难点问题的解决方案以及对语义角色标注发展的一个初步展望.

基于熵分类的个性化隐私匿名方法

针对传统(α,k)-匿名模型不能满足敏感属性值之间不同隐私保护程度个性化需求的问题,引入敏感属性值个性隐私敏感因子和个性隐私保护需求度的概念,进而形式化地定义了个性化(α,k)-匿名模型;同时,还提出了一种基于熵分类的个性化隐私匿名方法来实现个性化(α,k)-匿名模型。实验表明:该方法不仅能获得与现有(α,k)-匿名算法近似的信息损失度和时间代价,同时也满足了个性化服务的需求,获得更合理的隐私保护。

熵分类优化信息敏感值的个性化隐私匿名算法

提出了一种熵分类优化信息敏感值的个性化隐私匿名算法。首先对敏感属性进行复合,然后对多敏感属性进行覆盖性优化,并对其进行值域等级划分,最后针对敏感属性的特点,对其信息损失度和熵分类的选择进行优化,以提高算法的隐私匿名度。算法仿真结果表明,本文提出的算法相比较目前常用的K-anonymity、I-diversity算法,隐私匿名度高,执行时间小,且变化率也小,表示该算法具有较高的鲁棒性。

基于图像熵分类的移动终端数字水印方法

针对移动终端多媒体数据的版权保护问题,为克服移动终端处理能力弱和内存小的缺点,采用基于图像熵分类的方法设计码书,同时在水印嵌入过程中,优先将水印信息嵌入于复杂度较高的纹理区域,以提高嵌入水印后的图像质量,并采用等均值等方差最近邻码字搜索算法代替传统搜索算法以缩短编码时间.实验证明,文中方法能在提高码书质量的同时,有效减少码书训练时间,并对JPEG压缩、剪切图像攻击具有较强的鲁棒性.

基于决策分类熵的决策树构造算法及应用

为了更好地完成金融数据集上的分类挖掘任务,以粗糙集理论为基础提出决策分类熵的概念,进而以属性的决策分类熵为属性分裂度量提出基于决策分类熵的决策树构造算法,并针对过拟合问题提出一种抑制参数来实现树规模的良好控制。实例分析及金融数据集上的实验表明:相比经典的C4.5决策树算法,新算法能够较好地克服其缺点和不足,构建更优的决策树,能够更好地完成分类任务。

基于特征比较和最大熵模型的统计机器翻译错误检测

首先介绍3种典型的用于翻译错误检测和分类的单词后验概率特征,即基于固定位置的词后验概率、基于滑动窗的词后验概率和基于词对齐的词后验概率,分析其对错误检测性能的影响;然后,将其分别与语言学特征如词性、词及由LG句法分析器抽取的句法特征等进行组合,利用最大熵分类器预测翻译错误,并在汉英NIST数据集上进行实验验证和比较。实验结果表明,不同的单词后验概率对分类错误率的影响是显著的,并且在词后验概率基础上加入语言学特征的组合特征可以显著降低分类错误率,提高译文错误预测性能。

谈熵

笔者通过谈墙，试图给读者一个较清晰的关于“熵”的演变及发展的轮廓，提出了关于“熵”研究的几个问题。

语义角色标注中特征优化组合研究

特征决定着语义角色标注的性能,但并非特征越多性能越高。因此,如何优化组合这些特征就显得非常重要。选取了当前语义角色标注系统中常用的56个特征,按其贡献进行了优化组合实验。在正确的句法分析上取得了91.22%的语义角色分类精确率,在自动句法分析上语义角色标注F1值达到了78.07%。实验表明提高性能并不需要很多特征,关键在于特征的优化组合;同时在句法分析中起重要作用的谓词和中心词特征在语义角色标中也发挥了重要作用。

基于依存句法分析的中文语义角色标注

依存句法是句法分析的一种,相比于短语结构句法分析,依存句法具有更简洁的表达方式。该文采用英文语义角色标注的研究方法,实现了一个基于中文依存句法分析的语义角色标注系统。该系统针对中文依存关系树,采用有效的剪枝算法和特征,使用最大熵分类器进行语义角色的识别和分类。系统使用了两种不同的语料,一种是由标准短语结构句法分析(CTB5.0)转换而来,另一种是CoNLL2009公布的中文语料。系统分别在两种语料的标准谓词和自动谓词的基础上进行实验,在标准谓词上取得的F1值分别为84.30%和81.68%,在自动谓词上的F1值为81.02%和81.33%。

中文语义角色标注的特征工程

基于统计机器学习的语义角色标注在自然语言处理领域越来越受到重视,丰富多样的特征直接决定语义角色标注系统的性能。本文针对中文的特点,在英文语义角色标注特征的基础上,提出了一些更有效的新特征和组合特征:例如,句法成分后一个词、谓语动词和短语类型的组合、谓语动词类别信息和路径的组合等,并在Chinese Proposition Bank(CPB)语料数据上,使用最大熵分类器进行了实验,系统F-Score由89.76%增加到91.31%。结果表明,这些新特征和组合特征显著提高了系统的性能。因此,目前进行语义角色标注应集中精力寻找丰富有效的特征。

语义分析中谓词标识的特征工程

谓词是句子中的最重要的成分,它的正确与否对语义分析的影响非常大。而众多的特征直接影响到谓词标识的性能,如何组织这些特征显得尤为重要。选取了7个基本特征和30多个新特征以及它们的组合,使用最大熵分类器,在基本特征的基础上通过增加有利特征的方法,使得谓词标注的F1值增长了约5%(由84.7%增加到89.8%),词义识别的F1值增长了约2%(由80.3%增加到82.1%),结果表明,这些新特征及其组合大大提高了性能。

指代消解中距离特征的研究

指代消解是自然语言处理中的一个重要问题,包括专有名词、普通名词、代词的指代识别。本文实现了一个基于机器学习的英语名词短语的指代消解平台,通过对原始语料进行命名实体识别和名词短语识别等一系列预处理,选取了多个有效特征及其组合,分别采用最大熵和SVM两种分类算法对名词短语进行分类,在此基础上着重研究了距离特征对指代消解的影响。在传统的基于机器学习的指代消解研究方法中,候选词和先行语的距离被定义为特征,而没有考虑距离在生成训练样例中的作用,本文通过把候选词和先行语的距离作为一个特征加入机器学习算法和作为限制条件用于指代关系候选实例的产生两方面进行详细研究,在MUC-6基准语料库上评测,实验结果表明,合理利用距离特征能够大大提高系统的性能。最终,本文采用最大熵和SVM两种分类器在测试集上分别获得了67.5和68.7的F1值,该结果优于同类型的其他系统。

基于有监督学习方法的多文档文本情感摘要

该文研究有监督学习方法在多文档文本情感摘要中的应用。利用从亚马逊中文网和亚马逊英文网上收集的产品评论语料,抽取文本内特征、PageRank特征、情感特征和评论质量特征,基于有监督方法进行多文档文本情感摘要抽取。实验结果表明有监督学习方法比无监督学习方法在ROUGE值上有显著的提高,情感特征和评论质量特征均有助于文本情感摘要。

中文在线评论的用户性别判定研究

该文旨在研究中文在线评论的用户性别判定问题,即根据用户的商品评论识别用户的性别.首先研究了在线评论中对用户性别起指示作用的信息,然后从用户名、商品描述和评论文本中抽取特征,分别采取独立特征、叠加特征及融合特征的方式构建最大熵分类器进行实验.实验结果表明,用户名+商品描述+评论文本的分类器准确率最高.

基于依存树的中文语义角色标注

现有中文语义角色标注主要集中在基于短语结构句法树的标注。基于此,提出一种基于依存树的中文语义角色标注方法。将中文句子转化为标准的依存树,作为实验数据集,特征选取时结合知网,将语义信息引入特征集,以提高系统的召回率,并采用最大熵分类器进行实验,获得90.68%的F值。结果表明,在标准的句法树上,当基于依存关系的标注系统中加入新特征时,该中文语义角色标注取得了比基于句法成分标注更好的成绩。

汉语显式篇章关系分析

篇章关系分为显式和隐式两种。显式关系的显著特征是篇章的基本单元之间存在显式连接词。针对汉语显式篇章关系,构建了包括汉语连接词识别和篇章关系分类的显式篇章关系分析平台。该文选取汉语宾州树库(Chinese Penn Treebank,CTB)中的500篇文本进行了汉语显式篇章关系标注;结合连接词的中心词,采用最大熵分类器构建了汉语连接词识别模块,其性能F1值达到了66.79%;基于连接词及其词性等上下文特征,构建了篇章关系分类器,其在最顶层4大类语义关系上的分类性能的F1值为91.92%。

AUTOMATIC MULTILEVEL THRESHOLDING METHOD BASED ON MAXIMUM ENTROPY

In the multilevel thresholding segmentation of the image, the classification number is always given by the supervisor. To solve this problem, a fast multilevel thresholding algorithm considering both the threshold value and the classification number is proposed based on the maximum entropy, and the self-adaptive criterion of the classification number is given. The algorithm can obtain thresholds and automatically decide the classification number. Experimental results show that the algorithm is effective.

一种基于模糊决策树的运动预测机制

通过考虑环境约束及用户运动的随机性,设计了一种基于模糊决策树的运动预测机制。该机制在示例集的基础上,利用属性模糊化和模糊分类墒建立初始模糊决策树,由此生成模糊决策规则进行预测,根据变化情况适时对模糊决策树进行必要的维护。仿真研究表明,该机制预测准确率较高,预测开销较小,是可行和有效的。

融合时态特征的日英层次短语翻译模型

针对基于层次短语翻译模型的统计机器翻译使用上下文信息有限,时态翻译质量不高的问题,提出一种融合时态特征的日英统计机器翻译方法。该方法通过引入翻译规则的时态分类约束信息,解码器可以根据每条规则的潜在时态分类,为相应时态的句子匹配到最合适的规则进行翻译。首先从双语训练语料中抽取时态特征构建最大熵分类模型,然后再抽取包含各类时态信息的层次短语规则的时态特征,最后将规则的时态分类结果作为一类新特征,融入基于层次短语的翻译系统中。实验结果表明,与基线系统相比,该方法在多个测试集上提高了翻译质量,在一定程度上解决了日英层次短语模型的时态翻译问题。

基于多特征融合的统计机器翻译译文错误检测

抽取了3种典型的单词后验概率特征(基于固定位置的词后验概率、基于目标位置窗的词后验概率、基于词对齐的词后验概率)和3种语言学特征(词、词性、句法分析器抽取的句法特征),并在此基础上抽取了一个来自源端的单词特征,然后基于中英NIST数据集,采用最大熵分类器来验证不同单词后验概率特征(WPP)独立使用及与其它特征组合后使用时对错误检测性能的影响。实验结果表明,采用不同方法计算得到的单词后验概率特征对分类错误率的影响是显著的,并且在单词后验概率和语言学特征组合基础上加入源端单词特征,可以显著降低分类错误率(CER),提高译文错误检测能力。