基于SolrCloud的档案管理系统

随着信息化、数字化的迅速发展,档案管理系统的数据量日益增大,由此带来了数据写入与检索速度低下的弊端。在建立档案管理系统时引入SolrCloud技术,即可解决这一制约档案数字化、现代化发展的难题。

基于SolrCloud的分布式分面信息检索系统设计与实现

针对大数据时代海量信息给信息索引和检索带来的挑战,笔者以企业级开源全文检索服务器Solr的分布式模式SolrCloud为基础,设计并实现了一个分布式分面信息检索原型系统。以新浪微博数据为例,通过单机与集群对比实验对该系统分布式索引和检索的性能进行了评估,实验结果显示该系统能够快速有效检索微博信息。

基于SolrCloud的分布式科技项目查重系统

从海量科技项目文件库检测出与待检测科技项目的相似文本,设计能够支持实时响应的可扩展的科技项目查重系统。首先采用分布式计算对科技项目文件进行预处理,建立全文倒排索引;然后在分布式SolrCloud系统上执行相似性计算,采用标题段落语句模型(TPSM)计算待检测科技项目文本与全库科技项目文本的相似度。搜狗实验室约10万篇规模文本集上的测试结果表明:所提出的标题段落语句模型(TPSM)调和平均值比全文向量空间模型(FVSM)高出约15%,比段落空间模型(PVSM)高出8%左右;在检测性能上,一篇1 000字左右的待检测论文检测时间约为10 s,达到实时检测需求。实验结果同时表明,基于SolrCloud的分布式系统的扩展性、容错性均能满足实际需求。

基于SolrCloud构建的区域海量医疗信息实时查询交换系统

随着区域医疗业务增长迅速,区域内医疗机构之间对于医疗信息共享的需求越来越迫切,然而各个医疗机构业务系统构建技术不同,现有基于传统数据库构建的区域医疗信息查询系统已不能满足高并发实时随机医疗信息的查询和交换需求。提出了一种由SolrCloud构建分布式区域海量医疗患者信息的实时查询交换系统,运用该软件提供的高效动态协调能力、高速索引同步能力、高可用性和容灾备份能力,解决区域内医疗机构向数据中心高并发数据查询交换的需求瓶颈,提升区域实时医疗业务协同能力。最后以该系统最频繁使用的MPI(病人主索引)实时构建和查询交换模块为例,验证SolrCloud架构在区域医疗机构高并发实时查询和交换的性能。

基于SolrCloud的银行实时报表系统设计与实现

为了解决传统银行报表系统无法满足千万级以上数据实时查询、统计问题,基于SolrCloud技术提出一种新的实时报表系统,并就系统设计与实现作详细介绍,最后使用银行交易数据对系统进行一系列测试。实验结果表明:该系统对数据进行实时查询与统计操作时,耗时均在毫秒级范围内,可以很好地完成千万级以上数据的实时查询与统计。

基于HBase和Hive的航班延误平台的存储方法

针对我国目前航班延误平台的移植难、可扩展性差,无法适应民航高速发展所带来的大数据量存储的现状,设计了面向大数据的跨平台、高适用性与高扩展性的航班延误平台。该平台以大数据工具Leaf Let为可视化载体,在地图界面实时显示航班轨迹并将轨迹数据加载至HBase数据库中,并且利用信息摘要算法(MD5)重新设计与优化航班数据表的行键,以解决其递增的飞行时间特性产生的"热点"问题;针对HBase过滤器多级查询的缺陷,提出了基于Solr Cloud的关联查询算法,利用Solr Cloud实现对行键与索引字段的分层存储,从而实现HBase二级快速索引;最后在HBase的历史航班数据与飞行计划数据基础上,构建基于Hive的海量航班信息数据仓库。实验结果显示,航班延误大数据平台的可扩展性与搭建的航班信息数据仓库可以满足民航对数据集中统一存储的需求,而多条件查询的响应速度与无二级索引的集群相比提高了上百倍,并且这种优势随着航班数据量的增长愈发明显。

多源异构大数据平台的建设及应用

针对公安机关使用的信息系统普遍存在“数据壁垒”,不利于侦查办案的实际问题,设计并实现了多源异构大数据平台。该平台能够实现侦查、治安、交管等多类业务系统结构化、非结构化、半结构化异构数据的有效汇集整合,通过数据处理、目录管理、分析研判等功能,解决由于数据无法有效利用而导致“信息孤岛”、无法服务于侦查破案的问题。该平台应用结果表明,平台的建设能够有效地汇聚数据资源,实现多源异构数据的分析处理及态势预测,具有较高的行业应用价值。

基于HBase的数值预报产品存储检索应用

数值预报产品数据快速增长,传统的关系型数据库对其存储和管理能力不足,查询规模较大的历史数据时效率较低。鉴于此,基于HBase设计了分布式的数据存储模型,应用Map Reduce将数值预报产品解码信息存入HBase,并将解码得到的要素GRIB文件写入HDFS。因HBase对Rowkey的一级索引支持较好,而对多条件查询支持不足,需辅助Solr索引加以优化。HBase接收数据时自动触发协处理器同步记录到Solr,实现了HBase的二级索引。测试结果表明,最快入库速度可达每秒16145条,数据检索结果返回时效达到毫秒级,能够满足业务应用中对数值预报产品存储和检索时效的要求。

高性能分布式搜索引擎Solr的研究与实现

针对信息资源不断膨胀传统搜索技术无法达到高效、可靠的服务需求问题。设计并实现了一中基于Solr的高性能分布式搜索。系统通过使用Zookeeper管理集群,实现搜索模块分布式,利用Solr做索引处理,在多节点上并行创建索引,并将Solr Cloud与Mongodb数据库的搭建连接,通过测试表明,系统展现了Solr Cloud对数据库搜索功能的提高效果。

HBase分布式二级索引通用方案研究

二级索引方案是分布式存储研究的重要分支之一,基于通用目标设计二级索引方案可避免单一业务编程繁琐问题,使实施人员更多地关注业务本身而非编程细节。以HBase数据库为研究对象,引入分布式索引机制,通过重写观察者Observer协处理器方法,操作完数据后立即触发创建或更新索引的请求,进一步在SolrCloud中完成对索引的管理。反向进行多条件组合查询时,先在SolrCloud中查询包含行键和索引列的文档,再以行键为条件查询并获取HBase记录。部署通用方案,实验证明该方案很好地满足了创建和维护HBase二级索引的要求,且保证了索引与记录的一致性,对进一步研究分布式存储二级索引方案有一定的指导意义。

分布式全网职位搜索引擎的研究与实现

传统招聘网站所查寻的信息仅限于站内搜索,而且每个招聘网站往往都会有重复的招聘信息,导致重复投递,对求职者和招聘者都造成了资源浪费。文中研究和分析了基于Lucene的分布式全文搜索引擎Solrcloud,设计了全网职位搜索引擎系统。该系统采用Bloom Filter进行数据及URL的去重,通过使用Zookeeper提供分布式同步服务,并通过多线程来实现网页并发抓取。通过对系统的测试表明,该系统具有良好的可靠性和应用性,并在大数据量的情况下保证了搜索的效率及准确性。