基于后缀数组改进的全文索引结构研究

为在网络数据中搜索到所需相关数据,通过对基于后缀数组的全文索引结构的改进研究,设计和实现一种降低空间占用率并有效提高索引速度的全文索引结构———加权有向词图。通过实验证明,加权有向词图在相同问题规模下能降低存储空间,同时不影响检索的效率,是一种更为高效的全文索引结构。

一种基于TextRank的单文本关键字提取算法

作为一种经典的文本关键字提取和摘要自动生成算法,TextRank将文本看做若干单词组成的集合,并通过对单词节点图的节点权值进行迭代计算,挖掘单词之间的潜在语义关系。在TextRank节点图模型的基础上,将马尔可夫状态转移模型与节点图相结合,提出节点间边权为条件概率的新模型生成算法TextRank_Revised。通过对有标记和无标记的验证集进行验证,证明新的算法在不提升时间复杂度的前提下,通过计算单文本得出的单词排序结果相较于原TextRank算法更加吻合人工对文档的关键字提取结果。