基于ElasticSearch分布式搜索引擎的信息检索方法研究

随着信息量的骤增,传统关系型数据库很难做到实时高效地检索用户需要的信息,并且无法对信息进行分词及关键词组合的短文本搜索,从而很难优化信息检索结果的推荐展示。针对大量信息频繁检索的问题,采取一种基于ElasticSearch分布式搜索引擎,并采用分词器和倒排索引等技术,能较好地解决这些问题。同时在研究过程中利用代码实现了基础功能搜索、地理位置搜索以及通过算分排序推荐展示等功能。

基于RSS的分布式新闻博客搜索引擎设计

针对传统搜索引擎对频繁更新的新闻和博客网站的搜索实时性较差的现状,提出利用RSS提供的结构化数据,通过Pastry协议,实现索引的分布式存储和传输,同时使用Bloom filter数据结构压缩索引文件,构建一个基于RSS的P2P分布式的新闻博客搜索引擎,从而达到对频繁更新站点的实时性搜索,同时减少存储成本。

分布式搜索引擎系统效能建模与评价

针对分布式搜索引擎系统效能建模与评估问题,通过对当前分布式搜索引擎系统的建模与分类,扩展了能耗与网络开销的成本模型;对5种构建搜索引擎系统的设计方案,从系统成本、系统规模和查询响应时间等角度进行了详尽的理论分析与评价.由此发现,由广域网分布式采集系统和多机群索引系统组成的半广域网搜索引擎系统相对于其他系统具有相对较高的效能,同时能够较好地兼顾用户的服务质量.

一种基于Agent的分布式搜索引擎

分析了传统搜索引擎的不足,提出了一种基于智能的分布式搜索引擎,以的方法实现了搜索引擎的各项功能,描述了多AgentAgent个搜索引擎利用通信机制组成分布式网络的过程。

分布式数据库搜索引擎的索引建立和优化

对于使用数据的用户来说,能找到准确的数据且没有遗漏是一件非常困难的事。为了较好地满足用户需求,该文提出了利用分布式数据库搜索引擎架构来实现智能化的搜索和定位。通过建立和优化索引,并使用适当的排序算法,搜索引擎能将最贴近用户需要的结果排在其他结果之前,从而提高搜索引擎的检索效率、查全率和查精率。实验表明,该引擎的查全率为90.02%,查精率为89.78%。

基于Hadoop的分布式搜索引擎关键技术

实现了基于Hadoop的分布式搜索引擎,着重讨论了实现分布式搜索引擎涉及的3个关键性技术:索引表的建立、分词的处理和索引前的预处理。通过实验对比了集中式搜索引擎和分布式搜索引擎,结果表明了基于hadoop的分布式搜索引擎在处理数据方面强劲的优势。

基于分布式电力资源库的搜索引擎框架

在建设电力资源平台的基础上,提出基于分布式电力资源库的由Agent管理系统、共享Agent、搜索引擎界面、搜索词获取机、智能搜索机和跟踪评价机组成的搜索引擎框架。通过基于电力专业词库的分词、专业词规范、机器翻译等面向电力专业的处理,在跟踪用户搜索行为的基础上结合相似检索优化和数据挖掘该搜索引擎可为用户提供个性化、智能化的电力资源搜索服务,有效提高电力信息搜索的查准率、查全率和查找速度。

一种使用分布式技术的搜索引擎

搜索引擎技术是互联网发展必不可少的核心技术。伴随着互联网的普及和网上信息的爆炸式增长,它越来越显得重要。现有的搜索引擎已经不能很好地适应网络的进一步发展。分布式技术是下一代搜索引擎的发展趋势。本文在分析传统搜索引擎技术存在不足的基础上,提出一种使用分布式技术的搜索引擎,介绍其结构和原理。

Hadoop下的分布式搜索引擎

分析了Hadoop系统结构,提出一种改进的PageRank算法,使用Map/Reduce模式设计系统模块。实验证明,使用Hadoop框架能够设计出具有高性能、高可靠性和易扩展性的分布式搜索引擎。

一种分布式搜索引擎设计

This paper presents a distributed search engine design of an on-line bookstore system. Sever-al principles are introduced such as database miniaturization,the entire structure and the main modules are explained in detail. Compared with a centralized structure,the distributed structure has several ad-vantages including high speed, efficient usage of network bandwidth, less security problems, etc. The system uses feedback of the users to judge the information quality, select search engines and update databases. So,the system performances are improved.

基于Map/Reduce的分布式搜索引擎研究

在对Map/Reduce算法进行分析的基础上,利用开源Hadoop软件设计出高容错高性能的分布式搜索引擎,以面对搜索引擎对海量数据的处理和存储问题。

面向搜索引擎的分布式文件系统性能分析

搜索引擎是一种数据密集型应用,其性能极大依赖于底层文件系统的性能.文中主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题.首先概述了分布式文件系统的性能影响因素及相关研究进展;在此基础上提出基于Hadoop的开放架构,系统地评估HDFS和Lustre在搜索引擎应用场景下的性能;最后针对实验评估发现的HDFS在写性能及小文件数据处理方面的不足,提出改进方案,为搜索引擎的分布式文件系统优化提供参考.

一种瘦服务器—胖客户分布式搜索引擎的设计

传统的集中服务器搜索引擎模式难以满足未来信息检索的需求。为了提高搜索引擎的查全率和查准率,提出一种瘦服务器—胖客户分布式搜索引擎模型,它通过服务器端与客户端协作来共同完成用户的信息检索请求,充分利用各分布式个体的资源,以获得整体最佳的效果。经实验验证此模型有较优的性能。

用PAT Tree构建Internet搜索引擎分布式数据库

文中根据Internet搜索引擎的特点 ,提出了用PATTree作为搜索引擎索引数据库的思想 ,在理论上对其可行性进行了分析 ,用它实现了一个能够对FTP站点进行检索的实验性搜索引擎。

专业搜索引擎分布式Robot的设计研究

本文根据专业搜索引擎的资源采集需要设计了一种分布式的Robot,Robot作为网络资源的采集器是搜索引擎的重要组成部分。分析该系统的组成与运行模式,设计了该Robot的搜索策略并针对采集的不同时期和运行状况,提出了策略的调整方案。

搜索引擎中混合型分布式索引组织策略

针对搜索引擎中索引组织策略在查询性能和可扩展性等方面存在的问题,提出了一种混合型分布式索引组织策略(Loc-Glob).该策略整合了局部和全局索引组织的基本思路,首先将搜索引擎系统的索引服务器从逻辑上分为若干个索引服务器池,索引数据先以局部(或全局)索引组织策略分配到索引服务器池上.然后,在索引服务器池的内部,索引继续以全局(或局部)索引组织的方式存储到各索引服务器上.混合型的索引组织策略较局部和全局索引组织策略具有更好的可扩展性.实验结果表明,该策略较全局索引组织策略在查询性能、负载均衡方面都有所提升,与局部索引组织策略的查询性能基本相当,并具备较高的负载均衡水平.

基于语义Web服务的分布式服装搜索引擎系统设计

从电子商务环境下服装供应链管理的需求出发,分析了目前服装搜索引擎存在的问题,提出了基于语义Web服务的分布式服装商品搜索引擎系统模型,并讨论了它的体系结构。介绍了基于Ontology Web Language(OWL)的服装本体设计模型及其语义描述方法。分析了服装搜索引擎的基本功能及分布式环境下的Web Services(WS)合成。理论分析和实例原型说明了基于服装语义树的搜索引擎多关键词搜索效率明显高于全文搜索引擎。

基于分布式搜索引擎的消息中间件设计

面对社交网络的庞大用户群体、用户间复杂的好友关系以及海量的信息处理,社交网络的好友消息推送已经成为了限制社交网络规模的主要问题。目前流行的社交网络都使用数据库来标记好友发送的消息,采用分布式搜索引擎替换数据库实现消息中间件以达到社交网络的消息推送功能。利用搜索引擎内存搜索的特点,减少用户查询所带来IO操作,并利用分布式计算的特性,扩展系统的规模。

分布式搜索引擎系统中协作检索机制的研究

协作检索是分布式检索的研究热点。针对如何优化查询策略、以最小的代价实现协作查询问题,基于分布式信息聚类思想,提出了一种根据各个站点的特征向量来控制参与协作查询的站点数量的构想,并给出了一种协作检索算法。测试证明,该算法在基本不影响查询结果质量的前提下确实能降低查询代价。

分布式搜索引擎中页面信息动态迁移算法的研究(英文)

针对分布式搜索引擎系统中页面信息分布与动态迁移问题,提出了一种信息的动态迁移算法,并对算法参数进行了实验确定。该算法充分利用用户反馈,使得页面信息在各个站点间达到近似最优的分布。经模拟验证,该算法可以有效地优化信息分布、改善系统性能。