基于SolrCloud的分布式分面信息检索系统设计与实现

针对大数据时代海量信息给信息索引和检索带来的挑战,笔者以企业级开源全文检索服务器Solr的分布式模式SolrCloud为基础,设计并实现了一个分布式分面信息检索原型系统。以新浪微博数据为例,通过单机与集群对比实验对该系统分布式索引和检索的性能进行了评估,实验结果显示该系统能够快速有效检索微博信息。

高性能分布式搜索引擎Solr的研究与实现

针对信息资源不断膨胀传统搜索技术无法达到高效、可靠的服务需求问题。设计并实现了一中基于Solr的高性能分布式搜索。系统通过使用Zookeeper管理集群,实现搜索模块分布式,利用Solr做索引处理,在多节点上并行创建索引,并将Solr Cloud与Mongodb数据库的搭建连接,通过测试表明,系统展现了Solr Cloud对数据库搜索功能的提高效果。

一种基于Solr的HBase海量数据二级索引方案

针对HBase不提供二级索引和华为的hindex方案难以满足海量数据检索速度需求的问题,文章设计了基于Solr的HBase二级索引方案SIHBase(Solr Indexing HBase)。该方案使用HBase的Coprocessor(协处理器)为数据表的创建、修改、删除以及数据的插入、更新、删除和恢复等操作都实现了相应的回调函数,通过回调函数向Solr发送相关请求,以实现在Solr中自动为HBase建立和维护二级索引,保证数据与索引的一致性。该方案具有良好的通用性,可以同时为多张表的多列数据建立索引。该方案扩展了HBase的客户端功能,增加了直接查询Solr的接口,利用Solr提供的高效、灵活、多样的检索功能实现对HBase海量数据的快速检索。最后,与hindex进行了二级索引的查询性能对比实验,证明了该方案在查询速度上要远快于hindex。

基于Solr的司法大数据检索模型研究与实现

围绕司法领域信息要素的高维性特征以及司法信息要素间的紧耦合性特征,针对司法数据检索技术中由高维信息要素间的紧耦合性导致的检索效率问题,研究和实现了一个基于Solr的司法大数据检索模型。该模型采用Solr超级集群作为数据索引库,采用HBase集群作为数据存储库,通过引入数据与索引分离、redis缓存、动态参数调整、动态cache释放等设计思路,实现了一个高效、可靠、可扩展的司法大数据检索模型。

基于Solr的农田数据索引方法与大数据平台构建

针对农田数据在高吞吐量、高并发、多条件处理过程中易产生运算负载大、响应速度慢等难题,研究了负载均衡大规模集群数据处理技术,优化了多条件检索时Hbase农田数据库,提出了基于Solr的二级非主键索引方法,搭建了基于Hadoop的农田大数据平台,采用农机深松、植保、保护性耕作等8种作业生成的100 TB数据对平台进行了检索实验和压力测试实验。实验结果表明,多条件检索时,优化后的技术模型在数据规模达到5×10^7条时,系统的响应时间小于1 s,优化的性能与原生Hbase相比提高了3倍;在模拟用户达到5×10^5次时,系统的QPS及TPS提高了1倍左右、RT提高了2.5倍,系统的平均响应时间为183 ms。本研究解决了高吞吐量、高并发导致农田数据检索效率低的问题,提高了海量农田数据实时处理的计算能力。

基于Solr的分布式实时搜索模型研究与实现

实时搜索已成为信息检索领域的热点问题之一。传统搜索引擎在分布式环境下无法保证大数据量、高并发情况下的实时响应和数据容灾。本文提出了一种基于Solr的分布式实时搜索模型,分析了其实现原理。模型通过内存索引与磁盘索引相结合保证索引信息的实时展示,同时引入CommitLog日志保证内存索引数据容灾,并通过Master/Slave模型保证搜索服务的可用性。最终应用于实际生产系统中,实践结果充分证明了该模型的可行性。

基于Solr的标准信息检索技术及其优化

针对标准文献资源的多样性和异构性,现有的标准号和关键词检索系统中检索结果不准确、不全面、效率低的情况,通过对Solr搜索引擎技术等关键理论进行了研究,针对标准主题词表进行修改、中文和标准号的拆分和检索结果排序的优化,并将其应用到标准文献资源统一检索工程实践中。实践证明,基于Solr搜索引擎技术实现的标准号和关键词的统一检索系统的优化达到了预期效果,大大提高了用户的检索效率和准确率,对标准文献资源的利用和服务方面具有一定的实用价值,证明了Solr搜索引擎技术的实用性,同时,这项技术在标准领域的应用也能够促进该技术日后的发展。

使用Solr为大数据库搭建搜索引擎

如今信息快速发展,数据库信息不断增多,尤其是对于中文信息,传统的数据库搜索方式(like%%)不仅效率低下,而且搜索速度极慢,此时就需要为数据库搭建外部的中文搜索引擎。Apache Solr是基于Lucene的企业搜索引擎。本文介绍了Solr的结构和特点,并使用它搭建大数据量的数据库搜索引擎,并在最后比较了数据库和搜索引擎的搜索时间,证明了使用Solr能大大增加搜索效率。

基于Solr的分布式全文检索系统的研究与实现

随着当前网络信息资源的急剧膨胀,传统的检索系统已经难以在处理海量数据时提供高效的、可靠的服务。针对该情况,设计并实现一个基于Solr的分布式全文检索系统。系统通过网络爬虫抓取网页信息,将抓取的信息储存为文本文件;然后利用Solr索引处理模块,在多台计算机节点上并行创建索引,有效地提高系统建立索引的速度;系统通过Zoo-keeper管理集群,将搜索模块设计为分布式,有效地提高检索性能;最后设计了友好的用户界面。目前,系统可以在百万数据量的环境下稳定运行,具有较强的实用价值。

基于GeoNames和Solr的地名数据全文检索

地名数据是一种重要的地理信息资源,目前我国的地名数据库建设多局限于国内地名,缺少国外数据。传统地名数据的检索多为关键字查询,查询效率低且无法用于复杂地名查询。文中提出一种基于开源地名数据库GeoNames和开源搜索引擎Solr的地名数据全文检索方法,通过分析GeoNames的数据类型和结构,构建MySQL地名数据库,并利用Solr建立地名索引,提供基于Web服务的地名数据全文检索。实验表明,基于Solr的地名数据全文检索能够显著提高地名数据检索效率,对于复杂地名查询,也能进行有效地检索。

基于Solr的异构资源集成检索框架设计与实现

针对高校图书馆异构资源集成检索需要,在介绍企业级开源搜索平台Solr分面检索、分布式索引等特色功能基础上,采用基于DC元数据标准的中介器、封装器整合机制,设计了基于Solr的分布异构资源集成整合框架,实现了分布式DC封装器和中介器,从开源软件视角为高校图书馆分布异构数字资源的整合集成提供了解决方案。

基于Solr的科技成果查新系统的构建研究

随着各大国企,甚至是私营企业的快速发展,其科研项目和科技成果的数量呈现指数级增长,然而,企业的内部查新工作还是人工来完成,难度较大,因此文中从提高企业内部科技成果的查新效率出发,基于Solr搜索应用服务器这一核心平台,研究基于Solr的科技成果查新系统的设计和实现。首先简要介绍了Solr的概念、特性和系统架构,然后介绍了基于Solr引擎的科技成果检索查新系统的功能结构和系统架构,最后阐述了系统的界面和功能的具体实现,特别是检索查新和对比查看功能的设计和实现。

基于Solr的数据检索技术研究

针对海量过车数据检索困难的问题,设计了一款基于Solr的大规模分布式数据检索系统.前端IPC采集的数据经过结构化处理之后发送到后端,数据先缓存在消息队列中,再通过Spark Streaming实时计算框架对缓存的数据进行消费,将数据搬运到数据库HBase中,最后由Solr爬取HBase中的数据,根据用户的配置建立索引文件.查询时,用户通过点击Web界面下发查询条件,系统将查询条件解析为Solr能够识别的查询语句,从索引文件中取出相应的信息,最后从HBase中取出完整的数据,返回到界面显示.测试结果表明,系统工作稳定,可存储海量多种类型数据,索引建立速度为1 000条/s,当数据库中存储一千亿条过车记录时,对此类TB级别数据进行各种条件查询的响应时间均在10s之内.

基于Solr的企业级搜索引擎的设计

分散的计算机上存储有大量的信息,企业级用户急需一种工具对这些零散的信息进行统一的查找,最好还可通过配置对特定的网站进行检索,这就是企业级搜索引擎,本文使用开源项目Solr设计了一款面向企业的搜索引擎。整体设计基于SSH设计框架实现;服务器端采用Heritrix抓取网页,加入IKAnalyzer增加中文分词功能;客户端采用Ajax技术实现异步通信,优化用户体验。

基于Solr的混合介质存储在淘宝系统中的研究与应用

DT时代已经来临,开源搜索引擎已经成为各大公司检索海量数据的主流,其中Solr以其支持多种格式索引,高效性,高灵活性,高可扩展性,深受广大爱好者以及各大公司青睐,本文基于提高Solr检索速度和对数据管理便捷性,提出了混合介质存储分盘管理查询并且设置优先级异步并发的改进方案,通过在淘宝用户评论检索中的研究与应用,证实了方案能够极大优化了性能并且提高检索速度。

基于Solr的分布式铁路科技资源整合与检索实践

根据铁路科技信用与能力评价的实际需要,针对铁路科技资源存储、利用现状,基于Solr开源搜索平台,提出了分布式铁路科技资源整合与检索解决方案,设计了检索框架,阐述了具体操作方法,进行了实际应用。

基于solr的异构数据融合检索技术

针对企业异构数据融合检索的需求,介绍了异构数据整合的常用方法和企业级搜索服务器solr的基本功能,结合xml异构数据整合、中文分词技术和友好的用户界面搭建了基于solr的异构数据融合检索系统,实现了对xml文件的索引和检索,为异构数据融合检索提供了解决方案。

基于Heritrix与Solr的就业主题搜索引擎的研究与优化

随着信息化步伐的加快,网络求职越来越普及,通用搜索引擎以及招聘网也成为大学生获取就业信息的主要渠道。针对大多通用搜索引擎搜索的就业信息精准度不高以及招聘网站内容繁杂等问题,研究面向大学生的就业主题搜索引擎系统。借助Heritrix爬虫工具以及Solr全文搜索引擎进行二次开发,并对Heritrix爬虫工具默认的爬取策略以及队列分配策略进行优化,同时引入IK Analyzer改进Solr的中文分词的准确率。系统原型测试结果表明,系统具有较好抓取效率以及查准率。

一种增强型的SOLR校准方法

提出了一种增强型的在片SOLR校准方法(eSOLR),结合无需定义的直通传输线标准,2对对称的反射标准(开路标准、短路标准)和1对准确定义的负载标准,实现微波毫米波频段的校准测试。详细给出了8项误差模型的求解过程,同时采用校准比较算法对商用校准方法和eSOLR进行了验证。实验结果表明,eSOLR优于现有的商用SOLT、LRRM校准方法。0.2~110 GHz陶瓷衬底的无源失配衰减器验证件测量结果表明,新方法S测量结果更加连续,测量结果与多线TRL更为吻合。

基于Solr的飞机故障异构信息检索系统设计

针对企业异构信息在资源数量上和载体种类上不断攀升的情况,为了实现对全部异构信息资源进行统一检索并满足检索效率要求,设计了一个基于Solr的飞机故障异构信息检索系统。该系统首先针对异构信息特点设计索引结构,实现统一检索;然后并将各类异构数据按其对应索引结构生成索引文件,并导入至索引信息库,实现信息融合;最后基于Solr J API进行系统开发,实现各类复杂搜索功能,并结合专业词汇权重优化排序结果。实验结果证明,该系统能满足多种复杂搜索需求,有效解决了对企业异构信息资源的检索问题,为企业做出快速决策提供了技术支持。