基于KD树划分的云计算DBSCAN优化算法

在并行RDD-DBSCAN算法的数据划分和区域查询过程中会对数据集进行重复访问,降低了算法效率。为此,提出基于数据划分和融合策略的并行DBSCAN算法(DBSCAN-PSM)。利用KD树进行数据划分,实现数据分区与区域查询步骤的合并,从而减少数据集的访问次数以及降低I/O过程对算法效率的影响。采用判定数据点自身属性的方式,对标注为边缘点的数据进行融合,避免全局标记的额外时间开销。实验结果表明,DBSCAN-PSM算法相比RDD-DBSCAN算法可节省18%左右的运行时间,适用于处理海量数据聚类问题。

云存储系统中文件分界点确定方法——Cut-GAR

针对Hadoop分布式文件系统(HDFS)中小文件定义模糊导致HDFS处理小文件性能不佳的问题,提出了一种云存储系统中文件分界点的确定方法——Cut-GAR。该方法分析消耗Name Node内存(M)、文件上传速度(MUFS)、文件读取速度(MAFS)与文件大小之间的关系,得出文件大小三个近似最优值,FM、FMUFS、FMAFS;然后利用灰度关联分析,将M、MUFS、MAFS作为评价指标,文件大小作为评价对象,得到评价指标-评价对象灰色关联度以及评价指标所占权重,将FM、FMUFS、FMAFS与对应权重相乘,得出文件分界点。实验结果表明,Cut-GAR在M、MUFS和MAFS三者之间取得平衡,可以有效确定文件分界点,提升小文件处理性能。

一种面向遥感影像的分布式存储方法

高光谱影像数据量大、结构复杂,利用集群对海量数据进行分布式存储成为研究热点,但当前研究多将影像像元数据与元数据分离存储,导致系统内聚性差,影响数据存取性能,同时没有充分考虑上层各种遥感算法的数据访问需求,使得系统可用性不高。针对上述问题,基于HDFS(分布式文件系统)模型提出一种分布式影像存储模型,将整个影像数据模型存储在同一个结构中,提升系统内聚性,并且提供灵活的数据分块策略以供上层应用调用,满足多种数据访问需求。通过对比实验表明,该存储模型较现有的方案有更好的存取性能,具有较高的可行性。

混合关键任务可靠调度方法与调度性分析

为了解决云计算环境下混合关键性任务的可靠调度问题,提出了一种基于主副版本两阶段的混合关键任务可靠调度方法.算法首先对需要调度的混合关键性任务进行优先级划分,按照调度截止期最短的原则将主版本任务调度到目标虚拟机上,对副版本任务按照复制成本最低的原则使用重叠方法进行调度;再对调度到不同虚拟机上的主副版本任务进行可调度分析,对于不能满足分析的任务启动更高关键性等级进行处理.实验结果表明了混合关键任务可靠调度方法具有较高的可靠性和负载平衡能力.

基于Hadoop及出租车历史轨迹的乘客推荐算法

针对智慧城市中乘客打车策略的推荐算法效率不高的问题,使用古典概率学统计历史轨迹中该时间该路段有空车的天数占数据集总天数比例,作为乘客等到空车概率;使用最小二乘法拟合时间与到达空车数曲线,预测乘客等到空车时间,以提高推荐效率。同时,使用Hadoop作为数据存储和计算平台以提高数据处理能力;提出一种基于地图栅格化的路网存储结构来提高搜索地图速度;改进一种基于计算几何的地图匹配算法提高匹配准确率。实验结果显示,空车概率推荐算法正确率约87%,等待时间推荐算法正确率达88.4%,表明挖掘轨迹数据为乘客提供推荐服务的可行性。

矢量瓦片并行构建与分布式存储模型研究

矢量瓦片体积小、生成效率高、支持动态交互,较传统栅格瓦片有诸多优势,是下一代互联网地图服务研究的重点。为了解决当前矢量瓦片研究中处理速度慢,扩展性差等问题,本文利用并行计算框架Spark进行矢量瓦片快速构建,通过自定义转换函数,将原始矢量数据GeoJson转换成mvt瓦片集;对于生成的矢量瓦片集,本文基于分布式内存文件系统Alluxio设计一个瓦片存储模型-VectorTileStore,模型以键值对进行数据存储,瓦片元数据占据前八个键值对,单个瓦片占据一个键值对,在数据写入的同时,基于键构建一个哈希索引,用于快速访问,模型兼容海量瓦片的组织存储,具有很强的扩展性。通过实验结果表明,本文提出的矢量瓦片并行构建算法较单机构建算法运行时间平均减少49.6%,分布式存储模型VectorTileStore较传统方案更适合海量矢量瓦片存储,存取时间效率更高。