SDD方法在信息检索中的应用

介绍潜在语义索引中半离散矩阵分解SDD(Semidiscrete Matrix Decomposition)方法的使用,改进其在存储空间方面的不足,提出了SDD+方法,并比较了奇异值分解SVD(Singular Vector Decomposition)、SDD和SDD+的性能差异。

基于非负矩阵分解的隐含语义图像检索

提出了一种基于非负矩阵分解(Non-negative Matrix Factorization,NMF)的隐含语义索引(Latent Semantic Indexing,LSI)模型用于图像检索.应用NMF训练算法构造了一个语义空间,将查询图像和原型图像都投影到该空间以获得语义特征,在此空间中进行相似性的度量并将距离最近的图像返回给用户.与已有两种检索模型的实验结果对比表明,所提出模型是有效的.

基于改进潜在语义分析的跨语言检索

该文采用基于SVD和NMF矩阵分解相结合的改进潜在语义分析的方法为生物医学文献双语摘要进行建模,该模型将英汉双语摘要映射到同一语义空间,不需要外部词典和知识库,建立不同语言之间的对应关系,便于在双语空间中进行检索。该文充分利用医学文献双语摘要语料中的锚信息,通过不同的k值构建多个检索模型,计算每个模型的信任度,使得多个模型都对查询和文本的相似度做出贡献。在语义空间上进行项与项、文本与文本、项与文本之间的相似度计算,实现了双语摘要的跨语言检索。

基于支持向量机的隐含语意特征选择方法

隐含语意索引(LSI)是一个能有效捕获文档中词的隐含语意特征的方法。然而,用该方法选择的特征空间对文本分类来说可能不是最适合的,因为这种方法按照词的变化排序特征,而没有考虑到分类能力。支持向量机(SVM)高度的泛化能力使它特别适用于高维数据例如文档的分类。为此提出基于支持向量机的特征提取方法用于选择适于分类的LSI特征。该方法利用SVM高度泛化的分类能力,通过使用在每一个规则下训练的分类器的参数对第k个特征对反向平方分解面的贡献w2k的值进行估计。实验表明当需要比LSI更少的训练和测试时间时,该方法能够以更为紧凑的表示方式提高分类性能。

基于语义Web挖掘的宽范围扫描环境弱信号识别

针对宽范围扫描环境中传统方法在弱信号探测评估时通常需要过高的人工干预而导致结果质量较低的问题,提出了基于语义Web挖掘的弱信号识别方法。首先借助于网络信息来表示组织环境;然后利用隐含语义索引在不同的语境中识别出相似的文本模式;最后采用一种新的弱信号最大化方法计算出相关弱信号的最大数量;并由奇异值分解的维数表示,从而实现弱信号的高效识别。实验结果表明,相比其他最先进的弱信号识别方法,所提方法取得了更好的识别性能。

矩阵奇异值分解在隐含语义信息检索中的应用

对矩阵奇异值分解的特征进行分析,并将矩阵的奇异值分解应用于向量空间模型,对其进行改进,实现基于语义的信息检索模型,该模型能消除同义词和多义词的影响,提高了文本表示的准确性,从而使信息检索的准确率有显著提高,具有重要的实用价值。

一种大容量文本集的智能检索方法

分析了潜在语义模型,研究了潜在语义空间中文本的表示方法,提出了一种大容量文本集的检索策略。检索过程由粗粒度非相关剔除和相关文本的精确检索两个步骤组成。使用潜在语义空间模型对文本集进行初步的筛选,剔除非相关文本;使用大规模文本检索方法对相关文本在段落一级进行精确检索,其中为了提高检索的执行效率,在检索算法中引入了遗传算法;输出这些候选的段落序号。实验结果证明了这种方法的有效性和高效性。

基于引文相关性排序的科技论文检索方法

为了实现学术主题相关的科技论文检索,提出了一种基于引文相关性排序的科技论文检索方法。自动抽取科技论文的结构信息,获得论文的标题、摘要、关键词和引文;根据引文与标题的相关性,评价引文的重要性,用引文的评价得分修正引文向量特征项的权重,构造引文的词项-文档关联矩阵,并利用奇异值分解方法构造引文的潜在语义空间,计算查询论文与文档库中论文的引文语义相关性;采用信息增益方法确定了引文相关性阈值,将引文相关性超过阈值的科技论文作为检索结果返回。实验结果表明,提出的检索方法的准确率、召回率、综合性能均高于基于概括性信息(标题、摘要、关键词)的检索方法。

基于语义的中文信息检索技术分析与研究

对隐含语义索引模型在中文文本检索中的应用进行分析,证明了隐含语义索引模型通过挖掘文本和词汇之间的隐含关系较好地实现了语义检索,指出所存在的问题和进一步研究的方向。

LSI文本挖掘技术剖析

介绍了LSI潜在语义索引在信息检索领域的运用。阐述了词项加权的3种方法,分析了矩阵的奇异值分解SVD在提取矩阵重要信息方面的作用,展示了对词项—文档矩阵的降秩近似是如何模拟人类理解语义的过程;比较了向量空间模型与LSI在搜索算法上的异同,通过对词项—文档矩阵进行文本挖掘的例子,指出了LSI在分析文档间内在联系所起到的作用。

基于层次搜索的潜在语义索引方法研究

针对潜在语义索引(Latent Semantic Indexing, LSD计算成本很大,不利于扩展信息检索领域的特点,提出引进图论中的层次搜索方法(Level Search Scheme, LS),设计出一种针对多主题数据集、融合信息检索和信息过滤的新型算法。该方法能够在信息过滤阶段保持高的查全率,在信息检索阶段保证高的查准率,从而最后达到很好的检索效果。