监控系统预警视频的分布式检索设计与实现

视频监控系统在日积月累的监控过程中会产生大量的视频信息,如何在海量视频中基于内容快速检索出需要的信息成为亟待解决的问题;文章在视频检索过程中,将视频图像的SIFT特征提取匹配与MapReduce并行模式相结合,同时利用LSH映射对视频图像进行分组并存储在HBase数据库中,在配合并行分析的同时减少了计算量;最后实验证明,采用MapReduce并行模式提取图像SIFT特征值,时间会随着集群节点的增加而不断降低,并最终趋于稳定;由此可知,对基于内容的视频检索采用并行化分析可以显著提高效率,实现了Hadoop架构在视频分析方面的应用拓展。

多层一致性哈希的HDFS副本放置策略

分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性,但系统运行一段时间后会出现数据分布不均衡的情况.虽然使用Balancer程序可以对数据进行重分布,但对数据存储不均衡处理的后置性影响了系统的数据读取速率和可靠性.采用多层一致性哈希的副本放置策略,首先通过一致性哈希算法获得数据副本对应的机架位置,再通过一致性哈希算法获得该机架下对应的数据节点位置并最终成为存储位置.一致性哈希算法在查找对应位置的过程中采用地址等分和虚拟节点的技术,提高了查找的效率和分布的均衡性.该策略在数据均衡存储、上传速率方面较原有策略都有很大的提高,并且具有数据自适应性的能力.

基于Chameleon的关联规则挖掘研究

面对不断增长的数据量,企业需要的是对数据的实时分析和挖掘,以更快的速度和更精确的预测分析结果支持商业决策。基于Chameleon聚类算法和FP-growth关联规则挖掘算法,通过对原始数据的聚类操作,化简数据,在此基础上进行关联规则挖掘。实验证明,当数据日渐庞大时,不仅速度快,节省内存空间,而且达到很好的预测效果。