隐含语义索引及其在中文文本处理中的应用研究

信息检索本质上是语义检索 ,而传统信息检索系统都是基于独立词索引 ,因此检索效果并不理想 .隐含语义索引是一种新型的信息检索模型 ,它通过奇异值分解 ,将词向量和文档向量投影到一个低维空间 ,消减了词和文档之间的语义模糊度 ,使得文档之间的语义关系更为明晰 .实验和理论结果证实了隐含语义索引能够取得更好的检索效果 .本文论述了隐含语义索引的理论基础 ,研究了隐含语义索引在中文文本处理中的应用 ,包括中文文本检索、中文文本分类和中文文本聚类等 .

基于P2P的隐含语义索引模型的研究

P2P作为一种新型的网络结构正受到越来越多的关注。目前在大多数P2P网络中的信息检索方法都是依据关键词匹配,通过查询请求与信息标识之间的简单匹配关系来获得查询结果。但是关键词匹配会产生很多用户不需要的结果。隐含语义索引是基于文本语义的检索模型。为提高系统的查准率,扩展在P2P下的查询方式,本文提出了在P2P网络中引入隐含语义索引模型进行信息检索,并模拟实现了一个基于P2P网络的隐含语义索引模型的试验平台。

一种智能型的信息检索方法:隐含语义索引法

介绍了一种新的自动索引和检索方法———隐含语义索引法。隐含语义索引法是一种全自动的智能索引方法 ,通过挖掘文本与词汇之间的隐含关系来达到提高检索效率的目的。

隐含语义索引在吉林省农业知识问答系统中的应用

为了解决现有农业知识问答系统功能及业务流程中存在的一些问题,将隐含语义索引技术应用于吉林省农业知识问答系统中。该技术可以增强或消减词语在文档中语义的影响力,使文档之间的语义关系更为明晰,在一定程度上实现了自然语言检索,消除了词语同义性和多义性所造成的影响,从而取得更好的检索效果。

一种扩展的向量空间模型-隐含语义索引模型研究

在深入分析向量空间模型基础上,对其进行扩展,设计了一种隐含语义索引模型LSI。LSI通过奇异值分解,将词向量和文档向量投影到一个低维空间,消减了词和文档之间的语义模糊度。理论分析证明,隐含语义索引模型具有更准确的文档语义内容的表达能力,能够取得更好的检索效果。

隐含语义索引技术在供求信息分类中的应用

介绍了一种信息抽取和自动分类的新应用,分析了传统分类方法的不足,介绍了一种基于隐含语义索引技术的文本分类改进方案。该技术是一新型的检索模型,它通过奇异值分解,或增强或消减词在文档中的语义影响力,使得文档之间的语义关系更为明晰,从而能容易地剔除掉那些语义关联弱的噪声数据,提高特征值提取精度和最后的分类准确度。

隐含语义索引在农业技术问答系统中的应用

利用隐含语义索引技术设计了一个问答系统,在系统中利用隐含语义索引理论进行查询问题和数据库中的候选问题的相似度计算.主要是通过构造一个语义矩阵,进行奇异值分解消除"噪音"进行实现的.这样更清晰地表示出了词之间的语义相关性,使本系统可以接受被自然语言描述的问题.最后,对整个系统进行实验测试并对测试结果进行了分析,发现本系统比一般的基于VSM等方法实现的系统表现出了明显的优势.

归并奇异值分解:一种快速更新隐含语义索引的方法

隐含语义索引(LSI)是一种解决信息检索中二义性问题和大规模文档分类的文档索引方法。为了提高LSI效率,应对大数据场景下文档量爆发式增长的问题,提出了一种通过归并奇异值分解来实现LSI快速更新的方法。该方法利用p-边宽单边对角矩阵和箭头矩阵分解技术来加快中间矩阵的奇异值分解过程,并通过将新增文档矩阵的薄奇异值分解(PSVD)归并进主文档矩阵的PSVD以避免重复计算,加快LSI更新速度。通过数学证明论证了该方法的有效性,并讨论了该算法扩展到词条更新场景中的情形。在多个测试数据集上的实验验证了该方法可以在保证检索准确率的前提下有效提高LSI的更新效率。

基于隐含语义索引的文本情感序列回归方法

传统上,文本情感分析技术仅限于情感分类,即仅局限于简单的将评论分为正面或负面两类.而在实际中,有时更需要将评论进行分级,比如把商品划分为"好"、"中"、"差"、"极差"等若干个级别,以便更准确表达评论者的情感;现有的情感分类方法无法解决评论分级问题.为此,提出了基于潜在语义索引的评论文本情感序列回归方法,首先采用潜在语义索引对评论文本进行特征变换,并在此基础上采用核判别学习序列回归方法进行序列回归,实现对评论文本的情感分级.通过在Movie Reviews数据库的实验,验证了提出方法的有效性.

基于非负矩阵分解的隐含语义图像检索

提出了一种基于非负矩阵分解(Non-negative Matrix Factorization,NMF)的隐含语义索引(Latent Semantic Indexing,LSI)模型用于图像检索.应用NMF训练算法构造了一个语义空间,将查询图像和原型图像都投影到该空间以获得语义特征,在此空间中进行相似性的度量并将距离最近的图像返回给用户.与已有两种检索模型的实验结果对比表明,所提出模型是有效的.

隐含语义检索及中文样本分析实例

文中描述分析了一种智能型信息检索方式———隐含语义索引分析法 (LatentSemanticIndexing ,LSI) ,对文本的隐含含义进行挖掘 ,根据词汇、文本、提问式三者在语义上的关联产生检索结果 ,给出一个中文小型样本的隐含语义检索实例 ,进一步分析隐含语义检索的原理。

运用语义集索引法实现英文文本分类

为克服当前文本分类法中基于词形匹配带来的局限性,基于WordNet语义词典和隐含语义索引(LSI)模型,提出了基于语义集索引的英文文本分类方法.该方法在分类初期首先利用WordNet构建语义词典库,利用单词的语义集代替单词作为文本特征向量的特征项;然后利用LSI模型进一步深入挖掘语义集概念间的深层联系,将语言知识和概念索引有效地融合到文本向量空间的表示中.针对Na ve Bayes及简单向量距离文本分类法的实验结果显示,2种文本分类法的分类准确率均随着语义分析的深入逐步提高,充分表明了语义挖掘对文本分类的重要性和必要性.

矩阵奇异值分解在隐含语义信息检索中的应用

对矩阵奇异值分解的特征进行分析,并将矩阵的奇异值分解应用于向量空间模型,对其进行改进,实现基于语义的信息检索模型,该模型能消除同义词和多义词的影响,提高了文本表示的准确性,从而使信息检索的准确率有显著提高,具有重要的实用价值。

基于核Batch SOM聚类优化的语义Web服务发现机制研究

如何快速、准确和高效地发现满足用户需求的Web服务已成为制约服务发展的瓶颈之一。该文针对现有Web服务发现机制中存在的效率低下和查准率不高的两个主要问题,提出了一个基于核Batch SOM神经网络聚类优化的语义Web服务发现框架。该框架分别在服务表示阶段引入WordNet和隐含语义索引技术对Web服务进行语义扩展和概念语义空间降维;在服务分类阶段利用核机学习理论改进一类适用于Web服务分类的核Batch SOM神经网络算法;在服务匹配阶段提出一种基于核余弦相似性测度的Web服务匹配算法。最后,真实Web服务数据集上的实验结果验证了所提出方法的可行性。

基于LSI的图像语义检索

图像语义检索是实现图像快速、直观、准确查询的有效办法,针对目前直接采用图像低层特征无法满足图像语义查询的问题,该文提出了一种利用LSI技术,实现图像语义的检索方法。

基于语义Web挖掘的宽范围扫描环境弱信号识别

针对宽范围扫描环境中传统方法在弱信号探测评估时通常需要过高的人工干预而导致结果质量较低的问题,提出了基于语义Web挖掘的弱信号识别方法。首先借助于网络信息来表示组织环境;然后利用隐含语义索引在不同的语境中识别出相似的文本模式;最后采用一种新的弱信号最大化方法计算出相关弱信号的最大数量;并由奇异值分解的维数表示,从而实现弱信号的高效识别。实验结果表明,相比其他最先进的弱信号识别方法,所提方法取得了更好的识别性能。

一种压缩域特征提取与语义图像检索技术

为了解决“语义鸿沟”问题 ,通过将隐含语义索引 (L SI)技术引入到图像语义提取问题的研究中 ,试图从图像的视觉特征中抽取出“高层概念”.基于 GM(1,1)压缩域中的一种图像特征 ,提出了一种建立“图像视觉特征”与“语义信息”之间映射的技术方法 .实验研究表明 ,这种基于压缩域特征和 L SI技术的图像检索方法能显著改善图像检索的性能 。

一种基于LSI的图像语义检索技术

探讨如何将LSI技术应用于图像检索中 ,以实现基于语义的图像检索的技术途径 .给出了一种新的图像索引方法 ,它使用灰色模型GM (1,1)对图像的像素值进行模型化处理 ,并且使用模型参数的概率分布来描述图像 .在此基础上 ,详细讨论了将隐含语义索引技术应用于图像检索中的具体方法 ,并给出了相应的算法 .最后 。

基于语义的中文信息检索技术分析与研究

对隐含语义索引模型在中文文本检索中的应用进行分析,证明了隐含语义索引模型通过挖掘文本和词汇之间的隐含关系较好地实现了语义检索,指出所存在的问题和进一步研究的方向。

基于LSI和词典的文本语义相似度算法

在文本聚类领域里普遍存在一种问题,文本的概念相似度却被忽略。文中利用基于词典和基于文集的本体解决这种问题。还提出一种能合适地抓住相关语义相似度的修改过的隐含语义索引模型。实验结果表明该方法要优于惯用的文本语义相似度算法。