MapReduce环境下支持大规模文本检索的概念索引

随着信息化技术飞速发展,爆炸性数据的增长以及数据的多样化给大数据检索带来了挑战。MapReduce作为一种并行处理框架,在大数据处理上具有明显优势。为此,结合概念格的相关知识,采用形式概念分析发现文档之间的关系并用格进行表示,提出一种新型的支持大规模文本检索的形式概念索引结构,给出基于MapReduce框架建立概念索引的相关算法。通过与Lucene索引进行比较,验证了所提索引的有效性。实验结果表明,将文档之间关系采用概念格表示并建立概念索引,能够提高大规模文本检索的性能。

基于关键词的概念搜索引擎

当前的搜索引擎已不能很好的满足用户的需求,基于关键词的概念搜索引擎就是要对用户输入的关键词进行概念分析,建立概念关键词集合,然后再去搜索。搜索中我们要充分考虑关键词在文档中的位置,关键词在文档中的权重应与关键词在文档中的位置成函数关系。同时也要考虑个人的兴趣,根据个人的兴趣对搜索到的文档排序。

引索概念的鉴别和标引——人工标引规律探索之一

人工标引注重对文献整体的把握 ,通过分析文献语词之间、概念之间的联系 ,力求使文献记录的思维重现 ,再把得到的思维转换成检索语言。

使用索引提升数据库性能

影响到数据库性能的最大因素是索引,建立合理的索引可以大幅度的提升数据库性能,这里以SQL SERVER为例,我简单的介绍一下索引的相关知识,以及如何设置合理的索引提高数据库性能.

几种文本特征降维方法的比较分析

文本挖掘中采用向量空间模型(VSM)来表达文本特征,表现出巨大的维数,从而导致处理过程计算复杂,为此,需要先对文本特征矩阵进行合理的降维处理。隐含语义分析(LSA)、概念索引(CI)、非负矩阵分解(NMF)和随机映射(RP)是几种有效的降维方法,在分析降维空间的含义和计算复杂度后,通过文本聚类实验比较和分析了这几种降维方法的差异,实验表明,这些方法不仅可以对文本特征空间作有效的降维处理,还能在不同程度上凸现文本和词条之间的语义关系,从而提高文本挖掘的效率和准确率。

基于本体的VSM在兴趣型学习社区分组中的应用

采用语义网络技术,提出了基于本体的向量空间模型(VSM),计算学习者的兴趣向量,克服了传统的VSM有术语间语义相关性被忽略的不足,提高了兴趣相似性比较的精确程度,同时提出了一种基于学习者兴趣相似匹配度和学习者兴趣匹配浓度的学习社区自组织分组算法.针对模型使用本体中的概念构造向量空间表现出的巨大维数,运用概念索引降维法对兴趣特征矩阵进行合理降维,大大降低了计算的复杂性.最后通过应用案例验证分析了该模型算法具有较高的分组效率和良好的扩展性.

美国《生物学文摘》创刊以来的变化

美国《生物学文摘》(Biological Ab-stracts简称BA),是“生物学文摘生物科学信息服务社(Biosciences InformationService Of Biological Abstracts 简称BIOSIS)编辑出版的一种专业性文摘刊物。创刊于1926年,它主要介绍世界各国有关生物学、医学和农业方面的文献,包括生物学、农学和生物医学的理论,以及来自实验室、临床与现场的原始资料;生物学研究的新技术与新方法;生物学、

本体论论证的逻辑错在哪

安瑟伦关于上帝存在的本体论论证在哲学史上占有极为重要的地位,每部系统的哲学史无不对之进行严肃的介绍和讨论。多数研究者认为该论证是荒谬的,但迄今虽经许多代学者的努力,仍未能准确地指出该论证在逻辑上到底错在了哪。如何在前辈哲学家工作的基础上,通过缜密的分析而最终揭示出该论证之深藏不露的逻辑错误根源,是我们努力的方向。

基于本体兴趣特征向量空间模型的社区自组织算法

为了解决远程教育不可避免地产生的"孤独"学习者的问题,把具有相同学习兴趣的学习者组织到同一个学习社区中进行协作式学习。学习社区建立的重点和难点在于学习者之间相似关系的判定和计算,针对传统的向量空间模型中术语间语义相关性被忽略的不足,提出基于本体的向量空间模型来计算学习者的兴趣特征向量,根据兴趣的隐性表示获取对应的显式表示,此计算模型提高了兴趣相似性比较的精确程度。同时提出了一种基于学习者兴趣相似匹配度和学习者兴趣匹配浓度的学习社区的自组织算法。针对基于本体的向量空间模型使用本体中的概念构造向量空间表现出的巨大维数,运用概念索引降维法对兴趣特征矩阵进行合理降维,大大减少了计算的复杂性。最后,以网络学习案例来进行实验分析,验证该模型算法具有较高的效率和良好的扩展性。