基于Solr的数据检索技术研究

针对海量过车数据检索困难的问题,设计了一款基于Solr的大规模分布式数据检索系统.前端IPC采集的数据经过结构化处理之后发送到后端,数据先缓存在消息队列中,再通过Spark Streaming实时计算框架对缓存的数据进行消费,将数据搬运到数据库HBase中,最后由Solr爬取HBase中的数据,根据用户的配置建立索引文件.查询时,用户通过点击Web界面下发查询条件,系统将查询条件解析为Solr能够识别的查询语句,从索引文件中取出相应的信息,最后从HBase中取出完整的数据,返回到界面显示.测试结果表明,系统工作稳定,可存储海量多种类型数据,索引建立速度为1 000条/s,当数据库中存储一千亿条过车记录时,对此类TB级别数据进行各种条件查询的响应时间均在10s之内.

基于云计算平台的虚拟机内存管理系统

在云计算虚拟化平台中,虚拟机在运行不同的业务应用时,对内存通常会有不同的需求。这种情况下,如果采用静态的内存分配方式,往往会造成内存资源无法得到合理分配和使用。目前传统的内存管理系统只能将内存性能提高10%左右。本文基于KVM虚拟化方案设计了由内存动态调整,内存热添加,内存预留等几个模块组成的虚拟机内存管理系统。从实验结果可知在使用本内存管理系统的情况下,能够有效的将系统的整体内存性能提高25-30%。