基于分布式计算框架的风暴三维追踪方法

气象数据的增长规模已达到每小时TB级,这使得传统基于关系型数据库和文件存储系统在海量数据存储与管理方面捉襟见肘,进而使得基于大规模异构气象数据的应用无法规模化,同时,也无法满足科研人员对海量气象数据高效探索的需要。为解决这一系列问题,研究者分别基于MapReduce、HBase等分布式框架下的分布式计算和存储技术,尝试为海量气象数据的探索提供有效技术手段,然而,综合性的研究据了解还未开展。因此,利用近年来积累的海量多普勒天气雷达数据,开展了基于MapReduce和HBase相结合的风暴三维追踪方法的研究,并基于传统Rest标准化接口实现了雷达资料的点、线、面、体的多种分布式服务接口,与传统的Rest标准化单机数据存储和访问接口的性能相比,所实现方法在性能方面有100%的效率提升。最后,以2007年至2009年珠江三角洲地区三年雷达数据的风暴追踪回算为例,进一步验证了所提方法在计算和存储管理方面的性能优势。

分布式计算中基于机器学习聚类的人力资源管理推荐

由于受到特征维度及数据规模的影响,人力资源精准推荐难度提升。为了提高人力资源管理平台的自适应推荐精准度,采用机器学习聚类推荐策略,将AP聚类算法应用于大规模人力资源推荐,并借助于Storm计算框架提高推荐效率。首先,根据人力资源平台的用户行为记录进行特征提取并初始化,并借助PCA算法进行特征提取,构建求职者和岗位的评分函数。然后,采用AP聚类算法对求职者—岗位特征进行聚类分析,根据聚类结果获得候选岗位推荐序列。AP聚类的所有过程均在Storm分布式节点中完成。通过对4家大型网络招聘平台的仿真分析,分别从不同推荐序列、不同聚类数目及不同特征数的角度下展开人力资源推荐性能分析。结果表明,AP聚类在4家平台的人力资源推荐中获得较高的Recall和F1性能,而分布式计算则有效提升了推荐加速比。

移动云计算中分布式计算卸载框架的研究

随着移动应用的爆炸式增长和云计算概念的兴起,移动云计算已经被认为是移动服务的潜在重要技术。移动云计算中的计算卸载可以提高程序性能和减少移动终端能耗。本文对现有的计算卸载框架进行分析,提出了一种基于移动云计算的轻量级分布式计算卸载框架(DCOF),实验结果表明:DCOF消除了在运行时应用拆分和组件迁移的开销,降低了数据传输的数量,减少了能源消耗成本和缩短了周转时间。

分布式计算框架下的大数据机器学习

本文利用多层神经网络使用单层神经网络实现数据集训练,对均方误差和改变迭代时间进行对比。通过试验结果表示,低于最高的均方误差,提高收敛速度。简单来说,所实现多层神经网络能够精准预测数据集。

分布式计算机系统在大数据分析中的应用研究

本文深入研究了分布式计算机系统在大数据分析中的关键作用和应用。首先,概述了分布式计算机系统的基本原理与技术,包括其并行处理、数据分散存储以及容错机制等核心特点。其次,详细探讨了分布式计算机系统在大数据分析中的具体应用,包括分布式存储、分布式计算框架、分布式数据库以及实时数据流处理等方面。分布式存储解决了海量数据的存储问题,提高了数据的可靠性和扩展性;分布式计算框架如MapReduce则大幅提升了大数据处理的效率;分布式数据库如Cassandra和HBase为大规模数据的存储和查询提供了有力支持;实时数据流处理如Apache Storm和Apache Flink满足了实时性分析的需求。这些应用共同推动了大数据分析技术的发展,为各行各业的数据应用提供了强大的技术支撑。

基于分布式计算框架的大数据机器学习分析

基于大数据挖掘的数据样本多样性与实时性需求,提出了基于分布式计算框架的大数据机器学习系统,对目前算法迭代计算的过程进行分析,以模型向量该变量使迭代的过程划分成为微调与粗调不同阶段,并且还能够发现在部分阶段中大部分样本对于计算结果并没有太大的影响,所以能够在迭代过程中直接使用上次迭代计算结果,降低计算量,使计算效率得到提高。通过实验结果表示,算法基于分布式集群环境中能够降低模型训练计算量,并且提高训练模型精准度,使大数据挖掘实时性得到提高。

人工交通系统计算实验的分布式框架研究

人工交通系统概念的提出为智能交通系统研究开辟了新的视野,但其自底向上的交通个体建模方法和复杂的计算过程也带来了庞大的计算量与存储量,单台计算机的计算能力越来越难以满足大规模计算实验的需求。为此,提出和实现了一种混合P2P结构的分布式计算实验框架,并采用改进的同步算法和新的负载均衡方案优化了框架的性能,最后通过测试验证了该框架的高效性和可靠性。

构建基于.NET远程框架的图像分布式计算平台

文章简要描述了在图像识别过程中进行模板匹配时当目标图像过大时的困境,分析了用于解决该困境的.Net远程框架技术与.Net的web服务技术,指出利用.Net远程框架技术更利于构建用于图像处理的分布式计算平台,描述了利用.Net远程框架技术构建用于处理图像识别问题的分布式计算平台模型。通过测试证明了该平台是有效的而且具有高效性。

分布式计算结构与应用技术研究

文章对分布式计算的三大标准EJB、COM、CORBA的技术特点进行了比较,提出了“基于Web应用程序框架”的系统构建方法,并给出了应用程序框架的客户端和服务器端程序的具体实现方法。

基于Ray框架的分布式计算研究

文章旨在通过分布式框架Ray来计算数据量比较大的任务,使得任务能够更加高效地完成。指明了Ray通过两种核心概念实现分布式计算:Actor和Task。通过调用Ray库中的Remote方法并结合init方法指明CPU数量实现分布式计算。实验分为在相同数据量下不同CPU数量处理数据的快慢以及在不同数据量下不同CPU数量处理数据的能力。实验结果表明,数据量越大、CPU数量越多的分布式计算能力越强。因此,分布式计算适用于大数据下的并行计算。

分布式计算框架的大数据机器学习探析

为了实现大数据挖掘多样性以及实时性的要求,本文利用分布式计算框架设计了机器学习系统,实现大数据的迭代计算。根据模型的建立过程,对数据迭代计算分为粗调以及细调阶段,通过对不同迭代过程中对不同样本对模型参数向量的影响程度不同,形成了优化算法。从而形成迭代过程的简化,使计算过程效率进一步提高。按照本文设计的优化算法,进行了分布式计算框架机器学习模型的建立及验证,结果表明本文设计的分布式计算框架的大数据机器学习方式能够提高训练精度,提升了大数据挖掘的使用性。

基于单元的分布式计算模型CalUnit

本文在JUnit单元测试技术的基础上,提出基于单元的分布式计算模型CalUnit。对CalUnit设计模型及实现方法进行了较详细的论述和分析,系统测试表明其计算速度提升十分可观。该模型可作为一种实用型分布式计算框架结构,并扩展分布式计算的应用领域。

基于分布式证据学习算法的脱硫浆液品质监测模型研究

基于分布式计算框架与证据学习算法,对脱硫浆液品质建立了健康品质监测模型,突破了海量脱硫系统运行数据对基于传统机器学习的浆液品质监测方法所带来的计算瓶颈,并利用该模型对江苏某1000 MW电厂的浆液品质进行了在线监测。测试表明,所建立的监测模型能够准确监测出脱硫浆液品质的恶化,与其他3类先进监测方法对比结果说明了所建立模型能够达到最优的报警及时性。将分布式计算框架结合证据理论应用于脱硫浆液品质监测是可行的,为脱硫浆液品质监测提供了一种新方法。

图计算框架的大规模社交网络数据处理

随着社交网络规模的指数级增长,传统数据处理方法面临挑战。基于图计算框架在处理大规模社交网络数据中的应用情况,文章分析了Pregel,GraphX和PowerGraph等主流框架的优缺点。研究表明,基于BSP模型的分布式图计算框架能显著提升处理效率,而针对社交网络特点的改进图分区算法能够有效降低跨分区通信开销。

分布式云存储高可用框架研究

近年来,分布式云存储为非结构化数据的存储、处理提供了高效、廉价的解决方案,但随着业务系统对系统可用性要求的不断提高,对分布式云存储高可用框架的研究具有重要的理论价值和广阔的应用前景。论文综合分析了分布式云存储的基本理论,提出了针对智能电网设计的分布式云存储高可用框架,该框架采用双活主节点以及多服务心跳监测算法,保障在高并发读写文件操作下分布式云存储的高可用性。实验结果表明,该框架能够有效应对任意节点失效产生的系统故障。

高效分布式作战应用框架设计与实现

结合客户/服务器(C/S)架构客户端丰富多样及浏览器/服务器(B/S)架构便于扩展的优势,提出了一种基于模型-视图-控制器(MVC)的高效分布式作战应用框架。该框架可实现逻辑计算和业务分离,为大系统和大数据量作战应用软件研发提供可行的架构解决方案。

利用构件框架技术构造高度灵活的分布式中间件

为了构造灵活的中间件 ,本文基于现有中间件标准的计算模型和工程模型 ,从所面临的需求或挑战的来源出发 ,系统化地分析了这些挑战对于中间件实现所造成的影响和相应解决方案应该满足的特征 ,并采用构件和构件框架技术 ,提出了一个实现框架 。

Hadoop环境下分布式物联网设备状态分析处理系统

设备故障可能会引起严重的生产事故,对企业、社会和人身安全造成严重威胁.因此,对物联网设备状态分析并进行合理的处理具有重要意义.针对物联网设备数据量大且复杂的特性,本文提出了一种针对物联网设备的海量数据处理架构,同时结合Dask分布式计算框架,设计了基于Hadoop环境的分布式物联网设备状态分析处理系统.本系统主要包括数据服务、数据分析和数据存储3个模块,并通过合理的节点调度方案保证了算法的高效运行和分布式计算的稳定性.系统运行表明能有效的处理大批量数据并实时准确预测设备状态,满足工业智能制造过程中的实际应用.

交通信息分布式处理中的Hadoop调度算法优化

为从海量交通信息数据中有效地挖掘出为城市智能交通服务的信息,提出了在分布式环境下的改进型计算能力调度算法。根据对海量交通信息数据与分布式调度算法进行的分析与研究,指出了相关数据的特点与算法待改进的关键点,架构了在分布式平台下公平调度与延时调度的改进模型,优化了Hadoop在对交通数据处理时的调度算法,弥补了普通调度算法实时性的不足。实验结果表明,在分布式环境下,使用优化后的调度算法处理计算密集型或I/O密集型交通信息数据,计算所花时间较小,性能较优,具有较好的实时性。

一种分布式Twitter数据处理方案及应用

针对社交媒体数据的特点及其分析的挑战性,提出了一种基于实时计算框架Storm、批处理框架Hadoop和高效可水平扩展的No SQL数据库Mongo DB的分布式社交媒体数据处理方案,并依此指导实现基于Twitter流式数据的流感疫情可视化分析系统。实验证明,该分布式方案能较好支持Twitter流式数据的高效处理和储存,使之满足系统的性能需求。