基于词共现模型的常问问题集的自动问答系统研究

在自动问答系统中引入基于Frequendy asked questions（FAQ）的辅助模块满足常见问题的回答是一种有效的手段,其中关键问题是用户提出的问句与FAQ中问句的相似度比较,找出FAQ中最相似的问句,并返回对应的答案。本文将词共现模型引入到问句的相似度匹配中,利用互信息构造共现词汇,同时,结合相关关键词个数及问句长度等信息计算问句之间的相似度。相关实验结果表明,结合词共现模型的FAQ自动问答系统具有较高的准确率和较快的响应速度。

基于词共现模型的垃圾邮件过滤方法研究

垃圾邮件过滤就是对邮件做出是垃圾或非垃圾的判断。传统的表示邮件的方法是在向量空间模型基础上通过信息增益等特征选择方法提取一部分词来表示邮件内容,存在语义信息不足的问题。该文提出一种将传统方法和词共现模型结合起来表示邮件特征的新方法,再采用交叉覆盖算法对邮件进行分类得到邮件分类器。实验表明,该文提出的邮件过滤算法与传统方法相比提高了过滤性能,词共现选择的维度要比传统方法选择的维度更具有代表性。

基于改进词共现模型的自动摘要研究

提出一种改进词共现模型的自动摘要方法。在词共现模型的基础上,通过融合词性和标题隐含关键词信息,将主题与内容相结合,来提取关键词和摘要。与改进前的方法相比较,该方法在提取关键词的准确度和生成摘要的质量上有明显提高。

基于词共现模型与DOM的石油主题采集策略

提出了一种基于DOM树的词共现模型,首先利用文档的结构信息生成DOM树,并依据DOM树的结构特点来统计文档中主题词的共现信息,最后采用向量空间模型实现对石油主题网页的采集和分类。它改进了原有的词共现模型,突出了利用位置信息来优化词共现模型的特点。实验证明该策略使采集和分类的性能都有了一定的提高。

WCBVSM与SACA结合的文本分类模型

给出了一个词共现改进的向量空间模型(Word Co-Occurrence Mode Based On VSM,WCBVSM)与模拟退火交叉覆盖算法(Cross Cover Algorithm Based On Simulated Annealing Algorithm,SACA)相结合的文本分类新模型。传统的向量空间模型(VSM)采用词条作为文档的语义载体,没有考虑文本上下文词语之间的语义隐含信息,在词共现模型的启发下,提出WCBVSM,它通过统计文本中的词共现信息,加入VSM,以获得文档隐含的语义信息。针对交叉覆盖算法中识别精度与泛化能力之间的一对矛盾,结合模拟退火算法的思想,提出了SACA,改进了传统交叉覆盖在覆盖初始点选取时的随机性,并通过增加每个覆盖所包含的样本点来减少覆盖数,从而增强了覆盖的泛化能力。实验结果表明提出的文本分类新模型在加快识别速度的基础上,提高了分类的精度。

一种融合语义资源的生物医学查询理解方法

近年来,随着生物医学相关研究的快速发展,生物医学文献的数量与日俱增,相关人员从海量文献中获取所需信息变得越来越困难,信息检索技术能够为用户提供所需信息,但由于领域专业度高,术语庞杂,传统通用领域的检索技术往往很难胜任这项任务,而生物医学领域存在丰富的语义资源,这些资源涵盖该领域专业术语,可以对文献检索起到辅助和提升作用.因此,为进一步提升生物医学文献检索的性能,该文尝试基于词共现查询扩展模型,结合生物医学领域特征,利用医学主题词表衡量扩展词的重要性,综合权衡扩展词与查询词的共现关系和扩展词在医学主题词表中的分布情况,选择优质扩展词;并在此基础上提出一种基于组排序学习的监督式查询扩展方法,该方法根据候选扩展词对检索性能的影响和候选扩展词能否反映查询的主题信息两个方面对扩展词进行相关性标注,提取与扩展词相关的上下文特征和领域语义特征对扩展词进行向量化表示,最后采用组排序学习方法训练扩展词选择模型,完成查询扩展.在TREC基因任务数据集上的实验结果表明,该方法能够有效提升查询扩展性能,与基于排序学习方法ListMLE的监督式查询扩展方法相比,在文档平均准确率方面分别提升4.41%和11.35%,有效提升了生物医学文献检索的综合性能.

垃圾邮件过滤中特征选择方法研究

文章对垃圾邮件过滤中的特征选择问题进行了研究,引入"词共现模型"考虑词语之间的语义联系信息,和传统的信息增益特征选择方法结合表示邮件,采用神经网络方法对邮件进行分类得到垃圾邮件过滤器。实验表明,文章提出的将词共现对和信息增益结合的特征选择方法能够提高垃圾邮件过滤的精确度。