面向Hive查询的存储优化技术

为了提高Hive的查询性能,对HDFS数据块放置策略进行了优化,提出了一种基于相关关系分析的数据块放置策略,通过构建并发关系矩阵和相交关系矩阵评估待放置数据块与节点上已放置数据块之间的相关关系,并综合目标数据块的访问频率,选择合适的节点存储。

基于HDFS+HBase+Redis的海量车辆小图片的存储与检索系统设计

公安和交通等部门存储海量车辆小图片时降低系统性能,为了解决这一问题,提出一种基于HDFS+HBase+Redis的海量车辆小图片的存储与检索系统。首先,对存储小图片造成的NameNode内存瓶颈和读取消耗大量时间两个问题进行理论分析;然后,提出一种基于关联关系的合并存储方法,根据车辆的车牌号所属省份、车身颜色和车型三种信息的关联关系合并车辆小图片;接着,利用Hadoop数据块的三备份冗余策略对合并文件进行复制存储,并建立对应的索引结构实现小图片的快速检索;最后,针对存储优化方法设计合理的小图片检索流程。对比实验结果表明,所提出的海量车辆小图片的优化存储方法不仅可以降低NameNode的内存消耗,还提高小图片的读写速度,为海量车辆小图片的存储提供技术支持。