潜在语义分析中词汇-文本矩阵奇异值分解的并行实现

针对潜在语义分析中词汇-文本矩阵奇异值分解的特点,设计并实现了一种基于单边Jacobi的矩阵奇异值分解的并行算法。并行算法采用了一种新的扫描策略和任务划分策略,该策略在一次扫描中能产生n(n1-)/2个不同的列向量对,同时能够对矩阵的列向量按模排序,使奇异值按从大到小的顺序排列。通过在自强3000高性能计算机上的实验表明,并行算法大大缩短了奇异值分解的计算时间,而且随着矩阵规模逐渐变大,加速比趋于稳定。

归并奇异值分解:一种快速更新隐含语义索引的方法

隐含语义索引(LSI)是一种解决信息检索中二义性问题和大规模文档分类的文档索引方法。为了提高LSI效率,应对大数据场景下文档量爆发式增长的问题,提出了一种通过归并奇异值分解来实现LSI快速更新的方法。该方法利用p-边宽单边对角矩阵和箭头矩阵分解技术来加快中间矩阵的奇异值分解过程,并通过将新增文档矩阵的薄奇异值分解(PSVD)归并进主文档矩阵的PSVD以避免重复计算,加快LSI更新速度。通过数学证明论证了该方法的有效性,并讨论了该算法扩展到词条更新场景中的情形。在多个测试数据集上的实验验证了该方法可以在保证检索准确率的前提下有效提高LSI的更新效率。

基于幂迭代-随机奇异值分解的潜在语义分析

潜在语义分析通过挖掘文本与单词之间基于话题的关系,进行文本情感分类.潜在语义分析通过截断奇异值分解实现,传统截断奇异值需要求解大型矩阵的特征值和特征向量,存在时间复杂度高的问题.利用幂迭代-随机奇异值分解代替传统奇异值分解,提出一种矩阵分解效率更高的潜在语义分析算法.为了检验改进算法的性能,将其与四种分类算法组合,用于四个评论数据集的文本情感分类实验.结果显示,在保持原有较高分类准确率的基础上,改进的潜在语义分析算法的计算效率更高.

矩阵奇异值分解在隐含语义信息检索中的应用

对矩阵奇异值分解的特征进行分析,并将矩阵的奇异值分解应用于向量空间模型,对其进行改进,实现基于语义的信息检索模型,该模型能消除同义词和多义词的影响,提高了文本表示的准确性,从而使信息检索的准确率有显著提高,具有重要的实用价值。

基于本体和奇异值分解的图像数据索引查询算法

提出一种基于领域本体潜在语义索引和奇异值分解的图像数据查询算法,将查询扩展向量映射到潜在语义空间,根据相似度计算方法计算查询向量与图像文档之间的相似度,并将相似度大于阀值的文档作为检索结果降序排列返回给用户.该算法能更有效地提高图像检索的查准率和查全率.

基于奇异值分解的专利术语层次关系解析研究

奇异值分解是矩阵分析中常用的分解技术,在高维数据的降维、去噪方面有着广泛的应用。本文将矩阵的奇异值分解技术应用到领域专利术语的层次关系解析中,其核心思想是术语语义空间的深度转换,旨在用某种潜在特征代替文档作为属性来表示术语。具体研究包括,基于位置加权的原始术语-文档语义空间的构建方法、基于奇异值分解的术语特征抽取方法、基于术语-特征语义空间的术语层次关系解析方法。本文对论述的理论方法进行了实证研究,证实了该方法的可行性和有效性,并在此基础上实现较大规模的钢铁冶金领域专利术语层次关系解析,将解析结果纳入到本体学习理论体系中,实现该领域专利术语的知识本体化与可视化。

潜在语义索引中特征优化技术的研究

潜在语义索引被广泛应用于信息检索、文本分类、自动问答等领域中。潜在语义索引是一种降维方法，它把共现特征映射到同一维空间上，而非共现特征映射到不同的空间上。在潜在语义索引的语义空间中，共现特征通过文档内部以及文档之间的特征传递关系获得。该文认为这种特征传递关系会引入一些不存在的共现特征，从而降低潜在语义索引的性能，应该对这种特征传递关系进行一些选择，削除不存在的共现特征信息。该文采用文档频率对文档集合进行特征选择，用Complete—Link聚类算法在两个公开语料上进行三个实验，实验结果显示，保留文档频度的10％～15％时，其F1值分别提高了6．5770%，1．9928％和3．3614％。

一种基于潜在语义索引的谱聚类方法研究

传统的文本聚类算法存在文本向量维度过高,算法易陷入局部最优问题。针对上述问题,提出了一种适用于文本的基于潜在语义索引的谱聚类方法,该方法应用了潜在语义索引和谱聚类方法的优点,不仅分析了词与词之间的语义关系,而且适用于任意形状分布的样本数据聚类。针对航空安全报告的聚类实验表明,该方法取得了较好的聚类效果。

文本检索的潜在语义索引法初探

传统的文本检索方式是基于提问集合和文本集合的单纯语词匹配检索,然而这并不能解决检索实践过程中存在的同义和多义问题。文章阐述了文本检索的潜在语义索引法的原理并通过实验来验证潜在语义索引可以用来解决同义和多义问题,完善检索系统的性能。

基于奇异值分解的中文Ontology自动学习技术

语义Web是一个美好的构想，Ontology在语义Web中起着举足轻重的作用，它不仅能为人类用户而且能为软件agent提供从语法层次到语义层次上的互操作性。目前Web上主要是各种布局的HTML文档，未来的语义Web页面将是各种领域Ontology的实例以及到其它实例上的链接，因此语义Web的成功强烈依赖于Ontology的增殖，方便快捷地构造各领域Ontologies是实现语义Web的关键。该文提出一种基于奇异值分解的中文Ontology自动学习技术，这种技术的特点是其简易性以及准确的数学理论基础。

潜在语义索引在文本分类中的应用

传统的文本分类都是根据文本的外在特征进行的,最常见的就是基于向量空间模型的方法,使用空间向量表示文本,通过相似度比较来确定分类。为了克服向量空间模型中的词条独立性假设,文章提出了一种基于潜在语义索引的文本分类模型,通过对大量的文本集进行统计分析,揭示了词语的上下文使用含义,通过奇异值分解有效地降低了向量空间的维数,消除了同义词、多义词的影响,从而提高了文本分类的精度。

基于关联规则与奇异值分解的音乐推荐系统

在音乐推荐系统中引入了关联规则和奇异值分解两种算法。通过分析数据集得到语义词汇间的强关联规则,用来扩展能够描述歌曲典型特征的语义词汇集。根据歌曲与语义词汇集的关联程度,计算歌曲间相似度,获取推荐列表。应用SVD算法对数据集进行降维,在低维语义空间中找到能够代表歌曲的特征,利用这些特征计算歌曲间相似度,获取推荐列表。本文实现了两种算法并对比了推荐效果,为音乐推荐系统效果提升做了有益探索。

基于潜在语义空间的文本检索问题研究

本文针对潜在语义空间模型下文本检索存在的问题进行了研究;对LSI/SVD方法的理论及问题进行探讨,对文本—特征项矩阵加权方式进行了改进,对文本的聚类提出了k-means截尾算法,对原始向量空间降秩后的语义空间维数的确定提出了解决方法。

基于奇异值分解的新闻标题聚类研究

和导航中应用广泛。文本聚类作为一种无监督学习算法,其依据是聚类假设:同类的文档相似程度大,不同类的文档相似程度小。文中主要研究汉语文本聚类算法在新闻标题类文本中的应用。首先对采集到的若干条新闻标题进行分词和特征提取,将分词后的文本转化为词条矩阵;然后使用TF-IDF技术处理词条矩阵,得到基于分词权重的新的词条矩阵,对新的词条矩阵进行奇异值分解,得到主成分得分矩阵,提取主成分分析文本特征并根据主成分得分矩阵进行K-均值和分层聚类分析;最后将聚类结果用词云图的形式展示出来并评价聚类效果的好坏。实证显示,对词条矩阵的奇异值分解能降低向量空间的维数,提高聚类的精度和运算速度。

融合网络嵌入和奇异值分解的社会化推荐系统

奇异值分解(SVD)技术在生成个性化推荐中起着重要作用,但其性能受到数据稀疏性和冷启动问题的挑战。此外,不同的方法与SVD结合各有优势,因此利用不同方法的互补性质是另外一个难题。为了解决以上问题,建议从用户反馈中提取隐含而且可靠的社交信息,并为每个用户识别Top-k语义朋友,并且将Top-k语义朋友信息合并到SVD的框架中以解决问题。两个真实的数据集的实验结果表明,提出的方法比具有显性社会关系的最先进的方法——矩阵分解可以得到更好的结果,对RMSE有4.0%的改进。

基于非负矩阵分解的隐含语义图像检索

提出了一种基于非负矩阵分解(Non-negative Matrix Factorization,NMF)的隐含语义索引(Latent Semantic Indexing,LSI)模型用于图像检索.应用NMF训练算法构造了一个语义空间,将查询图像和原型图像都投影到该空间以获得语义特征,在此空间中进行相似性的度量并将距离最近的图像返回给用户.与已有两种检索模型的实验结果对比表明,所提出模型是有效的.

潜在语义分析在中文信息处理中的应用

潜在语义分析是一种关于自然语言信息提取和再现的理论方法,它通过代数的方法提取语义空间中潜在结构。论文叙述了潜在语义分析的基本理论方法,概述了这种方法所建立的潜在语义空间的数学意义;然后通过一个简单示例说明LSA在中文信息处理中的分析方法,并通过分析结果中文本间、词汇间关联度的变化来说明LSA在中文信息处理中的重要意义。

中文信息的潜在语义分析

潜在语义分析是一种基于潜概念索引的检索技术.文中首先综述了潜在语义分析的理论及方法,并且解释其数学意义;然后通过一个简单示例中文档间、词语间相关度的变化来说明潜在语义分析的作用;最后引入文档自检索矩阵的概念来检验潜在语义分析的检索效果.实验结果进一步说明了潜在语义分析在信息检索领域中有着重要的应用价值.

基于潜在语义分析的Deep Web查询接口聚类研究

集成查询接口的生成是Deep Web数据集成的重要组成环节。如何对不同领域的查询接口进行有效的聚类是生成集成查询接口时需要解决的核心问题之一。针对传统的向量空间模型在Deep Web查询接口聚类时单纯依赖关键词匹配的缺点,引入潜在语义分析(LSA)的方法来发掘查询接口之间的语义关系,并给出了基于潜在语义分析的Deep Web查询接口聚类算法,最后采用UIUC的Web集成资源库提供的数据进行了实验。结果表明,潜在语义分析的方法提高了同一领域查询接口之间的相似度,明显改善了Deep Web查询接口聚类的质量。

改进的潜在语义分析中文摘录方法

中文摘录是一种实现中文自动文摘的便捷方法,它根据摘录规则选取若干个原文句子直接组成摘要。通过优化输入矩阵和关键句子选取算法,提出了一种改进的潜在语义分析中文摘录方法。该方法首先基于向量空间模型构建多值输入矩阵;然后对输入矩阵进行潜在语义分析,并由此得出句子与潜在概念(主题信息的抽象表达)的语义相关度;最后借助改进的优选算法完成关键句子选取。实验结果显示,该方法准确率、召回率和F度量值的平均值分别为75.9%、71.8%和73.8%,与已有同类方法相比,改进后的方法实现了全程无监督且在整体效率上有较大提升,更具应用潜质。