基于词激活力的自动词发现

在使用计算机处理中文信息时,对词语的自动化发现技术有迫切的需求。因为在互联网时代,词语集合的更新换代非常之快,词语以非常快的节奏产生和消亡,这直接影响着对中文信息自动化处理的准确度和可靠性。为了解决这个难题,本文提出一种基于词激活力模型的中文词语发现方法。该方法将海量汉语语料建模成为有序的汉字序列,建立词激活力模型,分析字与字之间的联系程度,从而对任意两个汉字是否构成词语进行估计。在大规模语料集上的数据实验表明,该方法能够有效地对预料中的潜在词语进行自动化发现,达到了预期目标。

利用组合模型生成微博热点话题事件摘要

针对微博热点话题检测使用主题模型只能提取出无序话题词组合的问题,提出一种结合词激活力模型与主题模型各自优点的微博热点话题检测方法及话题关键词的计算方法。使用传统的主题模型提取出微博文本中的热点主题,根据各主题下文档的概率分布提取出新的话题文档,引入词激活力模型计算各个词之间的词激活力,生成词激活力矩阵,最后利用词激活力矩阵生成有序的词序列作为热点事件摘要。实验验证了该方法的可行性,表明所提出的方法能够很好地识别出热点词并生成可读性高的事件摘要。

基于职业特征的人名消歧算法

职业是人物实体的代表性特征,能够有效地区分人物实体。传统人名消歧算法仅把职业当作一个普通的特征,忽视了它的重要性。针对以上问题,提出了基于职业特征的人名消歧算法。首先通过互联网手动构建基础职业词典;其次以维基百科的所有中文页面为训练语料,通过词激活力模型扩展基础职业词典得到职业特征词典;然后从文本中提取职业特征,并抽取人名和作品名作为其补充特征,弥补文本中职业特征缺失和同一人物具有多个职业的问题;最后采用凝聚层次聚类实现人名消歧。在CLP2010的人名消歧训练语料上进行实验,结果表明文章算法能够有效地实现人名消歧。