用于聊天词汇的权重计算方法CDTF*IDF

随着聊天室的广泛使用,对聊天内容监控也变成亟待解决的问题。在聊天室监控中,为衡量聊天数据中词汇对聊天内容的描述能力,现在一般直接采用文本词汇的权重计算方法;然而,这种方法忽视了聊天数据与静态文本结构上的差异,导致计算出的权重并不能准确反应词汇描述聊天内容的能力。针对聊天数据的固有特点,提出了一种专门针对聊天数据的词汇权重计算方法CDTF*IDF。该方法通过分别计算词汇在不同数据源中的权值并汇总、并对重点词汇提高权重等方式来计算聊天数据的词汇权重。基于IRC聊天室内容监控的实验表明:该方法能较好地衡量聊天词汇的权重,同时基于该方法的监控系统能够准确地识别出聊天数据中的话题。

基于多词汇特征增强的中文事件检测方法

事件检测主要研究从非结构化文本中自动识别事件触发词,实现所属事件类型的正确分类。与英文相比,中文需要经过分词才能利用词汇信息,还存在“分词-触发词”不匹配问题。针对中文语言特性与事件检测任务的特点,本文提出一种基于多词汇特征增强的中文事件检测模型,通过外部词典为字级别模型引入包含多词汇信息的词汇集,以利用多种分词结果的词汇信息。同时采用静态文本词频统计与自动分词工具协同决策词汇集中词汇的权重,获取更加精确的词汇语义。在ACE2005中文数据集上与现有模型进行实验对比分析,结果表明本文方法取得了最好的性能,验证了该方法在中文事件检测上的有效性。

多社区网络上的命名博弈

为了模仿人类对新物体认知和命名的过程,提出了一种新型的命名博弈模型,它通过词汇的权重表示个体的认知程度,低权重词汇被删除模拟个体有限记忆的过程.实验发现,在单社区网络上,所有个体的词汇最终能够统一,通过总词汇数、不同词汇数和平均协议成功率的分析解释了新个体命名的演化过程.衰减因子和删除阈值的取值对于演化速度影响较大,当它们之间存在线性关系时演化收敛较快.通过将该模型应用到多社区网络模型上,发现收敛词汇数可能不唯一,会与社区数相同,且收敛词汇数的稳定性与网络社区化强度和社区内节点的平均度有关,而与社区内节点数无关.最后,使用微分动力学的方法对这种情况进行了定量分析.

基于RDF语义标注的领域文档主题描述方法研究

为了更准确、直观的表达Web文档的主题,本文提出了一种基于RDF语义标注的领域文档主题描述方法。该方法为RDF文件中的每个领域词汇定义一个权重值,利用领域本体中定义的词汇之间的相互影响关系更新每个词汇的权重,并依此扩充描述文档主题的词汇集,最终依据按权值排序的词汇集来表达文档主题。实验结果表明,该方法能够较好的描述领域文档的主题。

词汇与中心词的距离信息对问句相似度匹配的影响

在问答式信息检索中引入基于frequen tly askedquestions(FAQ)的辅助模块满足常见问题的回答是一种有效的手段,其中关键问题是用户提出的问句与FAQ中问句的相似度比较,找出FAQ中最相近的问句,并返回对应的答案,作为对用户问题的解答。该文设计实现了一种FAQ辅助模块,并试图发现词汇与中心词的距离信息对于问句相似度匹配的词汇权重的影响。使用两组不同的测试集进行评测,实验表明,采用词汇与中心词的距离信息计算问句相似度,其影响能力弱于文档频率的作用,但是在相似度阈值0.5的情况下,两种方法均没有错误判断。