基于MapReduce海量视频数据并行计算系统的设计

在总结视频图像数据处理现状的基础上,针对海量视频数据的并行化处理问题,提出一种基于MapReduce的并行计算系统设计方法。该系统使用NVIDIA JETSON TK1搭建并行计算集群,在此基础上利用Hadoop实现了MapReduce。在此平台上设计基于CUDA的并行数据处理算法对千万条文本数据进行处理,分析了其数据装载时间、处理时间和全部任务处理时间。结果表明,该系统当前加速比约为4.73,与C/S单机相比,处理速度有较大程度的提高,为实现实时海量视频图像处理奠定了良好基础。

一种面向海洋监控视频的索引机制

数据作为一种资产其蕴含的价值越来越重要,把收集到的数据存储下来用于后续的数据分析与挖掘具有重要意义。论文针对海量的海洋监控视频,提出一种存储方案来满足查询需求。在此基础上,文中提出一种索引结构RB-Tree,使得基于该索引可实现海量数据的快速检索。此外,文章从理论层面对索引查询的时间代价进行分析,并与基于传统B+Tree、R-Tree索引的查询时间代价进行对比,说明RB-Tree在海量视频数据管理上的优势。