基于Spark的DA算法并行化研究

在对大规模数据进行蜻蜓算法优化时,由于要计算的维度过多,迭代次数过大,从而耗费大量运算时间,而基于Spark分布式计算可以减少大数据运算的耗时。将DA算法在Spark分布式计算平台下进行并行计算,把蜻蜓种群被分配到各个节点,每节点中蜻蜓个体信息通过多线程并行更新,然后共享全局最优解,从而提高大规模数据优化的运行速度。最后仿真实验的验证是由4个测试函数进行测试,验证结果显示:在保证正确率的前提下,基于Spark的DA算法在对大规模数据优化的计算用用时最少。

海量数据驱动的变压器故障类型高性能诊断方法

电力变压器故障与否直接影响电力系统运行可靠性,准确且高效的变压器故障诊断有助于及时发现电网不安全因素。文章提出一种基于海量数据驱动的优选训练样本的分布式神经网络决策变压器故障类型方法。首先通过比值法求取DGA的比值型特征向量,根据皮尔逊相关系数和欧氏距离双指标计算方法在各类别中选取更具该类代表性数据作为训练样本;再通过插值-随机抽样方法应对训练样本类间数据不平衡问题并对其进行抽样分块;为适应海量数据处理,在Spark平台上将BPNN算法并行化实现以提高算法性能表现,各BPNN学习不同训练样本块构建性能不同的子分类器;最后对子分类结果多数投票得到最终诊断类型。算例表明所提方法对变压器故障类型诊断效果良好,诊断正确率较IEC三比值法和传统串行BPNN高,证明了该方法对于变压器故障类型诊断的有效性与适用性。

复杂系统效能评估支撑平台

复杂系统的效能评估面临着评估数据量大、评估计算实时性要求高、评价规则灵活多变等问题,选择Spark分布式计算平台作为海量数据处理的技术途径,可以有效解决大数据实时处理问题。基于Spark技术,结合App WEE(武器效能评估支撑平台)构建复杂系统效能评估的支撑平台,可以解决数据处理规模以及数据处理的实时性问题,并且可以兼顾评价准则设置灵活性,这样就有效地解决了复杂系统评估问题。

基于hadoop平台海量数据的快速查询与实现

随着互联网技术的发展,人类产生的数据量正在呈指数级增长,Hadoop作为大数据领域的常用工具,在现代生活中发挥着至关重要的作用。Hive是基于Hadoop的一个数据仓库工具,在做查询统计分析时最终翻译成Hadoop平台上的MapReduce程序运行,当数据量不断增大时,就会使得查询效率^([5])下降。该文就此提出了一种Hive与Spark结合的方案,将Hive的查询作为Spark的任务提交到Spark集群上进行计算,利用Spark的特性提高Hive查询性能。该研究首先理论阐述了Hive与Spark各自的工作机制,然后介绍Hive_Spark原理,最后通过做实验,对实验结果进行对比,分析,从而验证Hive_Spark提高了查询效率,对大规模数据处理具有一定参考意义。