基于Hadoop平台的分布式文件云存储系统设计

数据量的激增促进了分布式文件系统的迅速发展,Hadoop作为一个开源框架,以其高效的数据存储与处理能力在分布式系统中占据重要地位。通过Hadoop Distributed File System(HDFS)实现大规模数据集的分布式存储,YARN为资源管理提供了弹性调度,使得Hadoop成为处理大数据问题的理想平台。本文探讨了基于Hadoop平台的分布式文件云存储系统设计,旨在提供一种高效可靠的分布式文件云存储解决方案,以支持大数据时代下的数据存储与处理需求。

基于任务进度感知的异构Hadoop云平台任务调度方案

针对异构Hadoop云计算平台中任务调度问题进行了研究,并分析了现有推测执行调度和LATE调度方案的缺陷,提出一种基于任务进度感知的自适应任务调度方案。首先,根据当前计算节点上的任务进度情况,估计任务近似完成时间(ATE),以此确定掉队者(straggler)任务;然后,以平均节点任务进度的25%为阈值,将节点分为慢节点和快节点。当straggler后备任务达到一定阈值时,将其优先分配到快节点中执行。实验结果表明,提出的方案能够为异构Hadoop平台合理分配任务,有效降低了任务完成时间和响应延迟,同时提高了平台吞吐量。

风电场数据中心Hadoop云平台作业调度算法研究

风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求,在原有FIFO调度器的基础上,设计了一种双队列的作业调度器,综合考虑作业的截止时间和优先级来进行作业调度决策,实验结果表明,与FIFO调度器相比,双队列的作业调度器在集群负载较大时能够表现出较好的性能,保证实时类作业能够优先执行,为风电机组的安全运行提供保障。

基于Hadoop平台的SVM_WNB分类算法的研究

SVM算法和朴素贝叶斯分类算法是对大量复杂数据分类中性能优秀的算法。然而它们的缺点使得分类效果受到了影响,而且传统的数据挖掘分类算法也无法满足对于海量数据的处理。针对这些问题,这里对传统的朴素贝叶斯算法进行了分析和改进,提出了SVM_WNB分类算法,并且在Hadoop云平台上对算法实现并行化处理,使其能够对大数据进行处理。实验验证,改进后的算法在准确性和效率等方面有明显提升,在大数据的分类上将会起到显著的效果。

基于Hadoop的海量电信数据云计算平台研究

传统的数据分析方法面对海量电信数据存在管理和分析难的问题。Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域。本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法 ,建立了基于Hadoop的海量电信数据云计算平台。实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率。

基于Hadoop云平台的联合收割机远程监控系统研究

建立了云计算的海量数据处理数学模型和算法,并将Hadoop分布式计算方法引入到了数据库处理系统中,实现了数据库数据的自动分区和主从节点的设置,以及数据的分布式计算功能,得到了数据的处理速度、容量和传输速率等系统性能参数;结合农业生产中联合收割机应用越来越广泛,加之农田小路比较狭窄,给农田交通运输带来了的巨大压力等问题,提出了一套能够提供定位、监控、导航、车况采集等综合服务的联合收割机远程监控系统。通过对系统的测试,证明云存储平台在联合收割机监控系统中具有良好的表现,并具有很好的扩展性,为现代化的农业收割机监控系统提供了优越的条件。

基于Hadoop的医疗云平台构建研究

随着云计算技术的快速发展,云平台的应用越来越广泛,具有整合资源、数据安全、节约存储等优势。基于医疗数据的特点与医院信息化建设中的问题,利用Hadoop技术,设计了一款高效、可靠、稳定的医疗云平台。首先指明了Hadoop技术的优点与云平台搭建的基础环境,然后提出了医疗云平台分五部分建设的思路,最后介绍了应用医疗云平台的初步成效。

基于Hadoop的监控数据存储与处理方案设计和实现

云计算环境下的监控系统会实时产生大量监控数据,如何在大数据的环境下实现对监控数据的高效存储和处理尤为重要。针对这一问题提出一种基于Hadoop的监控数据存储与处理的方案。该方案采用HBase数据库存储时序监控数据,并用提升字段法的宽表存储模型改进HBase数据库提升监控数据的存储效率;针对流量数据,采用MapReduce进行分布式计算处理提高处理效率。经过实验测试,验证了该方案的科学性和有效性,提高了海量监控数据下监控系统数据处理速度,解决了云计算环境下监控数据的计算瓶颈问题。

Hadoop云平台中基于信任的访问控制模型

Hadoop云计算平台是当下最流行的云平台之一,其现有的访问控制模型采用Kerberos进行身份验证,结合基于ACL的访问授权机制,通过Delegation Token和Block Access Token等令牌,实现了该平台中简单的访问控制。该模型具有明显的缺点,即仅仅在授权时考虑了用户身份的真实性,没有考虑用户后期行为的可信性,而且权限一经授予就不再监管。提出一种适用于Hadoop云平台的基于信任的访问控制新模型——LT。LT模型基于现有的Hadoop访问控制模型,为每个用户设定信任值,通过用户在集群中的行为记录实时地更新用户信任值,并根据这个信任值动态地控制用户对平台的访问。与Hadoop平台现有的访问控制模型相比,该模型所实现的访问授权不再是一个关口控制,而是一个实时动态的过程,其粒度更细并且具有更高的安全性和灵活度。实验证明,该模型不仅正确有效,而且克服了现行Hadoop平台中访问控制安全性不足的缺点,能够动态、有效地控制用户对集群中资源的访问及使用。

基于最大熵功率谱估计的Hadoop高速数据访问

提出一种基于最大熵功率谱估计的Hadoop云平台下网络音视频数据特征挖掘方法,实现对数据信息的高速访问。构建数据挖掘Hadoop云平台和数据挖掘访问模型,设计最大熵功率谱特征提取算法,采用分段思想将同一时间段的视音频数据进行群体分割,分段提取最大熵功率谱特征。将提取的特征信息进行维度匹配分箱和溯源处理,实现信息恢复,最终完成高速数据访问。仿真测试表明,该算法能有效地实现对网络音视频数据的特征挖掘,提高访问效率,访问响应时间较当前方法缩短明显。

利用Hadoop云计算平台进行海量数据聚类分析

海洋信息的飞速增长使其数据量越来越多,对数据进行合理的分类,能够有效的挖掘数据与数据之间的关系。本文首先描述传统的K-Mean聚类算法,并指出其影响因素,在此基础上进行改进,提出BRTI-KMeans算法,并将此算法与传统的K-Means算法和Canopy-K-Means算法进行比较,以此说明本文算法在进行海量数据聚类分析方面具有优越性。

一种基于Hadoop云计算平台大数据聚类算法设计

传统的数据挖掘技术由于受到编程模型等的约束,产生了不同瓶颈,聚类算法的研究面临着海量的大数据处理与分析的挑战,新兴计算模型Hadoop作为一种可并行处理的云计算平台得到了广泛应用。文章对传统聚类挖掘算法进行改进和优化,在Hadoop云计算平台上进行K-means算法的并行化实现,降低算法的时间复杂度,提高了计算效率。实践证明,改进的K-means算法适合大规模数据集的聚类挖掘,具有高效、准确、稳定、安全等特性,适合于海量数据的分析和处理。

基于hadoop的时隙优化任务调度策略研究

针对分布式云计算平台hadoop任务调度中由于网络时延而导致的调度不平衡问题,提出一种基于时隙优化的任务调度算法。充分参考当前网络条件,将其作为任务调度的重要参考依据,利用SDN对网络带宽的管理能力,根据时隙策略分配带宽,结合局部性原理决定将任务分派到本地还是低负载的其他节点,从全局角度保证任务本地化比例较高的前提下以最优的方式高效分派任务,以提高系统整体的任务处理能力。依据算法设计调度器设计并进行实验,实验结果验证了算法的调度质量。

一种基于Hadoop云计算平台大数据聚类算法设计

为了提高聚类的准确度,对传统聚类挖掘算法进行分析、改进和优化,在云计算Hadoop平台上进行DBIK-means算法的并行化,降低了算法的时间复杂度,提高了计算效率.通过实验验证,结果表明DBIK-means算法具有高效、准确、稳定、安全等特性,适合大规模数据集的聚类挖掘.

基于HADOOP平台的云GIS构架研究

介绍开源Hadoop云平台的一些主要特点及其数据存储的优势。通过把云平台自身特点与地理系信息系统的构架设计相结合,提出了基于Hadoop云平台的地理信息系统构架,使地理信息系统具有云的相关特性。该地理信息系统能解决地理信息数据量大、种类繁多的数据在计算等方面有一定的优势,从而大大提高了云GIS系统的效率。

Hadoop云平台用户动态访问控制模型

为解决Hadoop云平台无法动态控制用户访问请求的问题,提出一种基于用户行为评估的Hadoop云平台动态访问控制(DACUBA,dynamic access control based on user behavior assessment)模型。该模型首先实时收集用户指令序列,通过并行指令序列学习(PCSL,parallel command sequence learning)获取用户行为轮廓。然后利用前向轮廓建立全局K模型,对后续行为序列进行分类并对分类结果进行评估。随后将评估结果与改进Hadoop访问控制机制结合,使云平台用户的访问权限随自身行为动态改变。最后通过实验验证了模型算法的有效性和动态访问控制机制的可行性。

Hadoop云平台下基于P-WAP的大数据聚类挖掘算法

传统AP聚类算法性能会随着数据规模扩大和结构复杂化而快速衰减,为此在Hadoop云平台下提出基于P-WAP的聚类挖掘算法。用邻域相似度指标替代传统AP算法中欧式距离相似度,提高聚类算法应对大规模数据的能力,将样本集合中的数据集分配给Hadoop云平台中的数据处理节点,利用平台并行计算能力对待处理数据集进行加权聚类,优化算法性能。实验结果表明,所提算法在海量数据规模下拥有更高的聚类效率,在聚类准确率和时间复杂度控制方面效果更好。

基于Hadoop的高校档案馆私有云存储平台的构建

针对高校档案馆面临档案信息资源出现的指数级增长和现有的存储平台不能适应档案数据增长的矛盾,构建一个基于Hadoop构建高校档案馆私有云存储平台,通过采用Linux集群技术、分布式文件系统和云计算框架,实现海量数据存储和高速数据处理。分析了该平台的网络拓扑结构、总体框架模型、平台的功能模块、平台安全特性和比较了私有云存储和传统存储模式。

基于用户行为评估的Hadoop云平台动态访问控制

为解决现有Hadoop云平台访问控制缺乏动态性的问题,提出一种基于用户行为评估的Hadoop云平台动态访问控制模型(DACUBA).该模型采用指令序列学习(CSL)算法从用户指令序列中提取用户行为模式,利用全局模式库对用户行为进行分类并对分类结果进行行为评估,然后将评估值应用于Hadoop云平台的访问控制机制中实现动态访问控制.验证实验结果证明了DACUBA的有效性,与其他方法相比,该方法对云请求的访问控制效率较高,且稳定性较好.