基于潜在语义以及关键字的油气田工程智能知识信息检索方法

在油气田工程智能知识信息中,有效信息分布结构及其检索目标特征语义分析程度不同的影响,很难在特定条件下完成有效信息的全局检索,且所得检索结果与预期结果偏差较大,严重影响油气田工程智能知识信息分析进度。为了解决这一难题,提出基于潜在语义与关键字对其展开检索方法研究。建立基于潜在语义的油气田工程智能知识信息数据预处理模型,基于模型进行潜在语义分析、关键字信息空间的多重分析、知识信息检索相似度识别,实现高精度检索信息的效果。实验结果表明,提出方法能够有效提升目标信息检索精准度,在检索速率、完整度及检索稳定性方面具有提升优化作用。

基于API潜在语义的勒索软件早期检测方法

加密型勒索软件通过加密用户文件来勒索赎金.现有的基于第一条加密应用编程接口(Application Programming Interface,API)的早期检测方法无法在勒索软件执行加密行为前将其检出.由于不同家族的勒索软件开始执行其加密行为的时刻各不相同,现有的基于固定时间阈值的早期检测方法仅能将少量勒索软件在其执行加密行为前准确检出.为进一步提升勒索软件检测的及时性,本文在分析多款勒索软件运行初期调用动态链接库(Dynamic Link Library,DLL)和API行为的基础上,提出了一个表征软件从开始运行到首次调用加密相关DLL之间的时间段的概念——运行初始阶段(Initial Phase of Operation,IPO),并提出了一个以软件在IPO内产生的API序列为检测对象的勒索软件早期检测方法,即基于API潜在语义的勒索软件早期检测方法(Ransomware Early Detection Method based on API Latent Semantics,REDMALS).REDMALS采集IPO内的API序列后,采用TF-IDF(Term Frequency-Inverse Document Frequency)算法以及潜在语义分析(Latent Semantic Analysis,LSA)算法对采集的API序列生成特征向量及提取潜在的语义结构,再运用机器学习算法构建检测模型用于勒索软件检测.实验结果显示运用随机森林算法的REDMALS在构建的变种测试集和未知测试集上可分别获得97.7%、96.0%的准确率,且两个测试集中83%和76%的勒索软件样本可在其执行加密行为前被检出.

基于分层潜在语义驱动网络的事件检测

事件检测旨在检测句子中的触发词并将其分类为预定义的事件类型.如何有效地表示触发词是实现该任务的核心要素.目前基于表示的方法通过复杂的深度神经网络来学习候选触发词的语义表示,以提升模型性能.然而,其忽略了2个问题:1)受句子语境的影响,同一个触发词会触发不同的事件类型;2)受自然语言表达多样性的影响,不同的触发词会触发同一个事件类型.受变分自编码器中隐变量及其他自然语言处理(natural language processing,NLP)任务中分层结构的启发,提出基于分层潜在语义驱动网络(hierarchical latent semantic-driven network,HLSD)的事件检测方法,通过句子和单词的潜在语义信息来辅助缓解以上2个问题.模型从文本表示空间中分层降维到新的潜在语义空间,探索事件宏微观语境中更本质的影响信息.首先,通过BERT对候选句子进行编码,得到句子的表示和句子中单词的表示;其次,设计一个双重的潜在语义机制,并采用VAE挖掘句子和单词级潜在语义;最后,从不同粒度的上下文角度,提出采用一个由粗到细的分层结构来充分使用句子和单词的潜在信息,从而提升模型的性能.ACE2005英文语料库上的实验结果表明,所提方法的F1值在事件检测任务上达到了77.9%.此外,在实验部分对以上2个问题进行了定量分析,证明了所提方法的有效性.

基于幂迭代-随机奇异值分解的潜在语义分析

潜在语义分析通过挖掘文本与单词之间基于话题的关系,进行文本情感分类.潜在语义分析通过截断奇异值分解实现,传统截断奇异值需要求解大型矩阵的特征值和特征向量,存在时间复杂度高的问题.利用幂迭代-随机奇异值分解代替传统奇异值分解,提出一种矩阵分解效率更高的潜在语义分析算法.为了检验改进算法的性能,将其与四种分类算法组合,用于四个评论数据集的文本情感分类实验.结果显示,在保持原有较高分类准确率的基础上,改进的潜在语义分析算法的计算效率更高.

潜在语义分析在中文信息处理中的应用

潜在语义分析是一种关于自然语言信息提取和再现的理论方法,它通过代数的方法提取语义空间中潜在结构。论文叙述了潜在语义分析的基本理论方法,概述了这种方法所建立的潜在语义空间的数学意义;然后通过一个简单示例说明LSA在中文信息处理中的分析方法,并通过分析结果中文本间、词汇间关联度的变化来说明LSA在中文信息处理中的重要意义。

改进的概率潜在语义分析下的文本聚类算法

概率潜在语义分析(PLSA)模型用期望最大化(EM)算法进行参数训练,由于算法参数的随机初始化,致使聚类的效果过度拟合且过分依赖于参数初始值。将潜在语义分析(LSA)模型参数概率化,用以初始化概率潜在语义分析模型的参数,得到的改进算法有效解决了参数随机初始化问题。经实验验证,所提出的方法对文本聚类的归一化互信息(NM I)和准确度都有明显提高。

中文信息的潜在语义分析

潜在语义分析是一种基于潜概念索引的检索技术.文中首先综述了潜在语义分析的理论及方法,并且解释其数学意义;然后通过一个简单示例中文档间、词语间相关度的变化来说明潜在语义分析的作用;最后引入文档自检索矩阵的概念来检验潜在语义分析的检索效果.实验结果进一步说明了潜在语义分析在信息检索领域中有着重要的应用价值.

基于分块潜在语义的场景分类方法

提出了一种基于分块潜在语义的场景分类方法。该方法首先对图像进行均匀分块并使用分块内视觉词汇的出现频率来描述每一个分块,然后利用概率潜在语义分析(PLSA)方法从图像的分块集合中发现潜在语义模型,最后利用该模型提取出潜在语义在图像分块中的出现情况来进行场景分类。在13类场景图像上的实验表明,与其他方法相比,该方法具有更高的分类准确率。

基于潜在语义对偶空间的跨语言文本分类研究

当今互联网上语言呈现多样性趋势,如何组织这些多语言的资源成为研究的热点。通过对双语平行语料库提取语义对应关系,构建潜在语义对偶空间,把双语文档映射到此概念空间后,实现跨语言分类。并通过改变训练集样本大小及语言构成来验证模型的分类性能。实验结果表明基于潜在语义对偶空间的跨语言文本分类具有良好的稳定性和准确度。

基于共现潜在语义向量空间模型的语义核构建

实现数字图书馆资源聚合的知识发现离不开对知识的有效表示。作为经典的文本表示模型,向量空间模型(VSM)及其衍生模型在信息检索以及知识发现等研究中都有着重要的地位,但依然存在不足。共现潜在语义向量空间模型(CLSVSM)作为新的文本表示模型,与VSM相比明显提高了文本聚类的精度。然而,面对文本大数据的应用,共现矩阵维度往往较高,致使模型的计算复杂度也较大。因此,本文在CLSVSM基础上构建了语义核(CLSVSM_K),构建的原理是基于潜在语义分析(LSA)的思想。CLSVSM_K不仅降低了共现矩阵的维度,而且实现了文本特征词之间同义信息的合并。本文将该语义核模型应用于文献的主题聚类中,实验结果表明,该方法的确有效降低了特征词空间的维度和计算的复杂度,提高了聚类算法的性能,且提高了文献主题聚类的精确度。该模型的应用将有助于数字图书馆信息资源组织、知识发现和知识优化。

一种改进的潜在语义检索模型研究

针对传统潜在语义检索模型计算成本大、检索速度慢、不利于应用在大规模农业信息检索领域的缺陷,文中提出一种针对农业主题的改进潜在语义检索模型(ALSI)。该模型先利用全文检索生成农业信息全文倒排索引库,然后利用农业高频词库和潜在语义分析生成的语义索引库,进行语义检索。通过多组实验分析确定了该模型所采用的词条权重计算方法和语义空间维数。最后,通过实验分析对比了改进后的潜在语义检索模型(ALSI)与传统潜在语义检索模型(LSI)的检索效果。结果表明,ALSI的检索效果明显好于LSI,适合应用于较大规模农业信息检索。

基于概率潜在语义分析的Blog个性化查询扩展研究

随着Web2.0技术的日益成熟和Blog技术的发展,Blog页面的数量呈指数级上升,只靠基于关键字匹配的Blog搜索引擎已满足不了用户的需要。传统Blog搜索引擎的搜索效率达不到用户个性化要求,受概率潜在语义分析技术研究的启发,将概率潜在语义分析模型用于Blog日志查询,根据用户的兴趣和个性化特点进行检索,返回与用户需求相关的查询结果。实验结果表明,相对于传统的向量空间模型和潜在语义分析模型,基于概率潜在语义分析模型的Blog日志查询在平均精度和召回率上得到了显著提高。

基于潜在语义分析的汉语问答系统答案提取

为了解决在汉语问答系统答案提取时,由于词的同义或多义现象而导致的“漏提”或“错提”等问题,提出了一种基于潜在语义分析(LSA)的问题和答案句子相似度计算方法.它利用空间向量模型作为问题和句子的表示方法,借助于潜在语义分析理论,对大量问答作句子语料统计分析,构建了一个潜在的词-句子语义空间,从而消除了词之间的相关性,并在语义空间上实现了问题与答案句子相似度计算,有效地解决了词的同义和多义问题.最后结合问题类型和相似度计算结果,对汉语基于事实的简单陈述问题进行了答案句子提取实验.答案提取的MRR值达到了0.47,明显优于空间向量模型.结果说明该方法具有很好的效果.

基于稀疏编码多尺度空间潜在语义分析的图像分类

传统潜在语义分析方法无法利用图像中区域语义构成的上下文信息来获得图像目标空间分布信息,因此它丢掉了局部特征之间的空间关系信息.而基于最近邻矢量量化来构造共生矩阵具有较大的量化误差,使得特征描述缺乏鲁棒性,影响后续潜在语义分析获得特征的精确性.为了弥补这些不足,文中提出了一种基于稀疏编码的多尺度空间潜在语义分析的图像分类方法.首先通过空间金字塔方法对图像进行空间多尺度划分,然后利用稀疏编码对每个局部块特征进行软量化以形成共生矩阵,之后结合概率潜在语义分析(PLSA)获得每个局部块的潜在语义信息,再利用权值串接每个特定局部块中的语义信息得到图像多尺度空间潜在语义信息,最后用支持向量机(SVM)分类器完成图像的场景分类.在常见图像库上的实验表明,本文提出的基于稀疏编码的多尺度空间潜在语义分析方法平均分类精度比现有诸多方法均有明显提高,验证了其有效性和鲁棒性.实验还表明,空间金字塔匹配、稀疏编码共生矩阵以及PLSA降维这3个模块在该文方法中缺一不可,共同提升图像表征和分类性能.

基于潜在语义分析的BBS文档Bayes鉴别器

电子公告栏 (BBS)的滥用是一种以信息污染为特色的社会问题 ,对BBS文档进行鉴别已成为信息安全重要内容之一 .该文融合了数据挖掘技术、数理统计技术和自然语言理解技术 ,提出了基于潜在语义分析与Bayes分类的BBS文档鉴别方法 :利用自然语言处理技术从训练文档中抽取典型短语集 ;通过潜在语义分析进行典型短语同义归约 ,应用关联规则采掘技术提高典型短语间的独立性 ;用Bayes分类器对BBS文档进行鉴别 .该文还对影响系统的关键参数进行了大量的讨论和测试 ,实验表明该方法对于BBS文档的鉴别是可行而有效的 .

基于潜在语义分析的中文文本层次分类技术

从网络文本自动分类的需求出发 ,针对基于VSM模型的分类处理中词条无关假设和词条维度过高等问题 ,对基于类中心向量的分类方法进行了改进。利用LSA分析中的SVD分解获得Web文档的语义特征向量 ,并在此基础上进行分类处理 ,在不损害分类精度的同时提高了分类及其后处理速度 ,并设计实现了一个原型系统。

潜在语义分析理论及其应用

潜在语义分析(LatentSemanticAnalysis,LSA)是一种用于自动地实现知识提取和表示的理论和方法,它通过对大量的文本集进行统计分析,从中提取出词语的上下文使用含义。在技术上,它同向量空间模型类型类似,都是采用空间向量表示文本,但通过SVD分解等处理,消除了同义词、多义词的影响,提高了后续处理的精度。将着重介绍LSA方法的基本思想、特点、实现方法,以及基于LSA思想的具体应用。

一种基于概率潜在语义模型的高分辨率遥感影像分类方法

针对高分辨率遥感影像中"同谱异物","同物异谱"现象对影像分类过程造成的干扰,将文本分析中的概率潜在语义模型应用于高分辨率遥感影像分类,提出一种无监督的遥感影像分类新方法。该方法首先利用均值漂移分割方法对影像进行分割构建图像区域集合,然后提取集合各区域中每个像元的Gabor纹理特征,并对这些特征进行聚类形成视觉词汇,最后利用PLSA方法对各区域进行分析,找出其最可能属于的主题或者类别,从而完成影像分类。文中GeoEye-1和IKONOS影像试验结果表明,该方法能有效提高高分辨率遥感影像分类精度。

一种基于LDA的潜在语义区划分及Web文档聚类算法

该文应用LDA模型进行文档的潜在语义分析,将语义分布划分成低频、中频、高频语义区,以低频语义区的语义进行Web游离文档检测,以中、高频语义区的语义作为文档特征进行文档聚类,采用文档类别与语义互作用机制对聚类结果进行修正。与相关工作比较,该文不仅应用LDA模型表示文档,而且进行了深入的语义分布区域划分,并将分析结果应用于Web文档聚类。实验表明,该文提出的基于LDA的文档类别与语义互作用聚类算法获得了更好的聚类结果。

基于潜在语义分析的信息检索

潜在语义分析是一种用于自动实现知识提取和表示的理论和方法,它通过对大量的文本集进行统计分析,从中提取出词语的上下文使用含义。文章介绍了基于潜在语义分析的文本信息检索的基本思想、特点以及实现方法 。