基于LSI/SVD的文本分类方法研究

论文通过分析传统向量空间模型(VSM)的信息检索模式和讨论基于特征项-文本矩阵的特征项赋权因子(TF-IDE)的赋值问题,提出以潜在语义索引/奇异值分解(LSI/SVD)方法为基础,采用文本相似度描述特征项语义间的联系,运用截断法来降低特征项-文本矩阵原始向量空间维数,解决特征项之间存在语义缺乏约束及向量空间维数过大的问题。仿真实验表明,该方法相对于传统向量空间模型更加高效实用。

应用LSI实现WEB图片的索引和查询

应用奇异值分解方法,分析相关文本词条和图片语义的关系,构造了一个图片“潜在语义索引”模型,用于缓解传统的许多WEB图片检索系统在索引和查询中遇到的同义词和多义词问题,实现语义索引和查询实验表明,该模型能有效地改善图片的索引和查询性能。

LSI模型在信息检索中的应用

介绍了LSI技术在中文信息中的应用及其在实际应用中可能会出现的问题,并给出了解决办法。通过将查询和文档在多维空间进行投影,将共现词投到同一维上,建立“词-文档”高维空间,使用SVD方法对高维空间进行分解、降维,得到词、文档、查询的向量表示,达到对中文信息的检索;使用PRF(Pseudo Relevance Feedback)技术对其进行改进。

基于潜在语义空间的文本检索问题研究

本文针对潜在语义空间模型下文本检索存在的问题进行了研究;对LSI/SVD方法的理论及问题进行探讨,对文本—特征项矩阵加权方式进行了改进,对文本的聚类提出了k-means截尾算法,对原始向量空间降秩后的语义空间维数的确定提出了解决方法。

一种基于潜在语义索引的谱聚类方法研究

传统的文本聚类算法存在文本向量维度过高,算法易陷入局部最优问题。针对上述问题,提出了一种适用于文本的基于潜在语义索引的谱聚类方法,该方法应用了潜在语义索引和谱聚类方法的优点,不仅分析了词与词之间的语义关系,而且适用于任意形状分布的样本数据聚类。针对航空安全报告的聚类实验表明,该方法取得了较好的聚类效果。

基于非负矩阵分解的隐含语义图像检索

提出了一种基于非负矩阵分解(Non-negative Matrix Factorization,NMF)的隐含语义索引(Latent Semantic Indexing,LSI)模型用于图像检索.应用NMF训练算法构造了一个语义空间,将查询图像和原型图像都投影到该空间以获得语义特征,在此空间中进行相似性的度量并将距离最近的图像返回给用户.与已有两种检索模型的实验结果对比表明,所提出模型是有效的.

基于支持向量机的隐含语意特征选择方法

隐含语意索引(LSI)是一个能有效捕获文档中词的隐含语意特征的方法。然而,用该方法选择的特征空间对文本分类来说可能不是最适合的,因为这种方法按照词的变化排序特征,而没有考虑到分类能力。支持向量机(SVM)高度的泛化能力使它特别适用于高维数据例如文档的分类。为此提出基于支持向量机的特征提取方法用于选择适于分类的LSI特征。该方法利用SVM高度泛化的分类能力,通过使用在每一个规则下训练的分类器的参数对第k个特征对反向平方分解面的贡献w2k的值进行估计。实验表明当需要比LSI更少的训练和测试时间时,该方法能够以更为紧凑的表示方式提高分类性能。

一种大容量文本集的智能检索方法

分析了潜在语义模型,研究了潜在语义空间中文本的表示方法,提出了一种大容量文本集的检索策略。检索过程由粗粒度非相关剔除和相关文本的精确检索两个步骤组成。使用潜在语义空间模型对文本集进行初步的筛选,剔除非相关文本;使用大规模文本检索方法对相关文本在段落一级进行精确检索,其中为了提高检索的执行效率,在检索算法中引入了遗传算法;输出这些候选的段落序号。实验结果证明了这种方法的有效性和高效性。

LS-SVM:一种有效的新闻主题追踪方法

新闻主题追踪是对主体所感兴趣的新闻主题的发展趋势进行动态追踪,其优势在于对所感兴趣的主题基于文本模型及理解的动态追踪,因此更多地涉及文本表示与语义理解。LS-SVM首先将文本利用LSI(隐含语义分析)进行分析,完成对文本基于语义的特征降维及文本表示;然后将隐含语义文本表示的结果输出给SVM进行主题追踪,从而实现从语义层次上的新闻主题追踪。实验结果表明,与传统的主题追踪相比较,该方法能够有效提高主题追踪的性能,减少追踪的错报率和漏报率。

基于语义的中文信息检索技术分析与研究

对隐含语义索引模型在中文文本检索中的应用进行分析,证明了隐含语义索引模型通过挖掘文本和词汇之间的隐含关系较好地实现了语义检索,指出所存在的问题和进一步研究的方向。

基于奇异值分解法的二元矩阵聚类算法研究

文献检索时通常会用到LSI(Latent Semantic Indexing)算法。针对算法中返回值受阈值大小影响的问题,对算法中由奇异值分解SVD(Singular Value Decomposition)得到的左、右奇异值矩阵,用k-means算法对其进行聚类,提出了LSI改进算法。实验结果表明,与传统的LSI方法相比,改进算法在提供k-means算法分类的维度时获得了更好的性能,证明了算法的有效性。