基于负载均衡和冗余剪枝的并行FP-Growth算法

针对现有的并行FP-Growth算法在数据并行分组时存在数据冗余和负载不均的问题,提出了基于负载估算和冗余剪枝的优化算法。首先,在采用高频策略分组时,引入节点任务估算方法,把每个分组中最大模式树的最长路径和支持度作为该分组的估计值,将估计值远大于其他节点的分组进行分割,平均到其他分组中,并且对不同分组中重复的列表元素进行截断,去除冗余数据。实验表明,本文提出的算法能够有效防止并行化的数据倾斜,减少数据冗余,在时间和空间复杂度上要低于以前的并行化FP-Growth算法。

基于Hadoop的并行FP-Growth算法的研究与实现

在PFP(Parallel FP-Growth)算法的基础上提出了一种负载均衡并行的挖掘算法LBPFP(Load-Balanced Parallel FP-Growth)算法,该算法在Hadoop框架实现并行计算的同时,在数据分发中利用负载均衡策略,使主节点均衡地向子节点分配数据.除此之外,在子节点进行数据处理的过程中利用剪枝策略,减少数据的处理量,该算法在提高并行计算能力的同时也大大缩小了数据的处理量.最后,通过实验分析表明该算法在大数据的处理中具有较好的效果,证实了该算法的可行性.

基于Spark的并行FP-Growth算法优化与实现

频繁模式挖掘作为模式识别的重要问题,一直受到研究者的广泛关注。FP-Growth算法因其高效快速的特点,被大量应用于频繁模式的挖掘任务中。然而,该算法依赖于内存运行的特性,使其难以适应大规模数据计算。针对上述问题,围绕大规模数据集下频繁模式挖掘展开研究,基于Spark框架,通过对支持度计数和分组过程的优化改进了FP-Growth算法,并实现了算法的分布式计算和计算资源的动态分配。运算过程中产生的中间结果均保存在内存中,因此有效减少数据的I/O消耗,提高算法的运行效率。实验结果表明,经优化后的算法在面向大规模数据时要优于传统的FP-Growth算法。

基于并行FP-growth算法挖掘网上关联交易规则

发现关联规则是数据挖掘技术的重要任务之一。之前提出的绝大多数算法需要多次遍历数据库才能产生频繁项集,造成巨大的CPU和内存开销。根据网上交易数据海量的特点,提出了一种基于频繁模式增长(FP-growth)的并行算法。该算法可以在不产生候选集的基础上并行的挖掘海量数据。试验证明该算法可以缓解了项目数量巨大而内存不足的矛盾,减少了算法的执行时间。利用该算法对网上交易进行关联规则挖掘,发现了有价值的决策支持信息。

并行FP-Growth算法对二次设备缺陷定位分析

针对变电站设备监控数据存储困难、设备缺陷特征难以准确获得的问题,从数据挖掘的角度提出一种并行FP-Growth算法。该算法利用不同信号间的强弱关系获得二次设备缺陷的特征数据,并通过历史数据对比、数据清洗、空位数据填充、抖动数据降噪等信号处理方式实现二次设备缺陷的准确定位。

一种新型的基于Hadoop框架的分布式并行FP-Growth算法

针对传统FP-Growth算法在大规模数据环境下存在的挖掘效率低和内存溢出问题,在传统FP-Growth算法的基础上,提出一种新的并行FP-Growth算法,并在分布式计算框架Hadoop的MapReduce编程模式下实现并行化处理。实验数据表明,并行的FP-Growth算法与传统的FPGrowth算法相比,具有相同数据量下计算时间短,相同时间内处理数据量增大的优点,并在一定条件下解决了大数据挖掘的内存溢出问题。

并行FP-Growth算法相关技术研究

传统的FP-Growth算法在挖掘关联规则时，存在生成的频繁模式树可能无法实际调入内存运行和处理过程串行执行的缺点。该文研究基于FP-Growth算法的关联规则挖掘并行算法，为挖掘大型数据库中的关联规则提供了参考。

基于并行FP-Growth算法的火电机组运行优化

关联规则算法在火电厂数据挖掘中取得了较好的应用效果,然而随着电厂自动化、信息化程度的进一步提高,面对高维海量的数据,传统的数据挖掘方法由于自身缺陷已不能满足要求。针对此问题,提出了一种基于Spark的并行FP-Growth算法,并以某600 MW超临界机组的历史运行数据为对象,挖掘各工况下运行参数与供电煤耗之间的关系,从而得到运行参数调整区间及目标值。结果表明,该算法确定的优化目标值可以有效降低机组供电煤耗率,提高机组运行经济性,可用于指导机组优化运行。

基于Spark和NRSCA策略的并行深度森林算法

针对并行深度森林在大数据环境下存在冗余及无关特征过多、两端特征利用率过低、模型收敛速度慢以及级联森林并行效率低等问题,提出了基于Spark和NRSCA策略的并行深度森林算法——PDF-SNRSCA。首先,该算法提出了基于邻域粗糙集和Fisher score的特征选择策略(FS-NRS),通过衡量特征的相关性和冗余度,对特征进行过滤,有效减少了冗余及无关特征的数量;其次,提出了一种随机选择和等距提取的扫描策略(S-RSEE),保证了所有特征能够同概率被利用,解决了多粒度扫描两端特征利用率低的问题;最后,结合Spark框架,实现级联森林并行化训练,提出了基于重要性指数的特征筛选机制(FFM-II),筛选出非关键性特征,平衡增强类向量与原始类向量维度,从而加快模型收敛速度,同时设计了基于SCA的任务调度机制(TSM-SCA),将任务重新分配,保证集群负载均衡,解决了级联森林并行效率低的问题。实验表明,PDF-SNRSCA算法能有效提高深度森林的分类效果,且对深度森林并行化训练的效率也有大幅提升。

面向GPU的地形遮蔽探测并行算法

地形遮蔽算法在军事、民航和气象分析等领域有广泛应用。随着仿真规模的扩大、仿真结果实时性要求越来越高,传统计算模型俨然不能满足当下的实时性要求。为解决这一不足,实现了在统一计算设备架构(CUDA)并行计算平台上的地形遮蔽探测算法,解决了仿真计算速度慢的问题。在CPU端将雷达探测区域内离散采样点的高程数据矩阵化,进而提升高程值在并行化计算中的读取速度。针对雷达仿真计算参数对线程分配方式进行优化,采用循环对比方式对地形遮蔽角的计算进行并行加速。采用设备端线程同步和数据交替传输技术,确保计算结果一致性和最大化利用GPU端计算资源。采用多模式并行化计算模式,使用多线程并行化计算和单线程串行化计算来支撑GPU端计算资源不足时的退化计算,从而保证计算的高可用。实验结果表明,相较于i7-12700H CPU在仿真粒度为3 600条探测波束下的地形遮蔽串行计算和多线程并行计算,在3060 Laptop GPU下分别获取了48倍和17倍加速,为仿真实时性提供了有效的工程解决方案。

结合遗传算子的并行萤火虫算法及在车间调度中的应用

论文提出了一种结合遗传算子的并行萤火虫算法,该算法借鉴了萤火虫闪烁移动的思想,对两个种群进行同步并行迭代求解,以提升算法的求解速度和质量;在其中一个种群中引入多尺度协同变异算子,利用不同大小方差的自适应高斯变异机制使整个种群以尽量分散的变异尺度来对解空间进行更详尽的探索,从而使整个种群进行有效变异。函数优化结果表明了该算法的有效性,该算法用于求解以最小化最大完工时间为优化目标的流水车间调度问题,实验结果表明,较传统的单一算法而言,结合遗传算子的并行萤火虫算法在求解车间调度问题方面具有更好的性能。

任务并行编程模型下排列熵算法的并行实现

排列熵算法随着嵌入维数的增大,运算规模将会呈平方级数增大,计算时效性问题突出,亟待解决。为此,提出一种基于任务并行编程模型的线程级并行方法,通过任务并行运行系统(StarPU)将密集型计算划分为多个独立的任务,再由调度器将任务调度到不同的CPU上执行,实现排列熵算法的并行化。基于StarPU的排列熵并行算法与串行程序相比较,加速比为23.79倍,相较于OpenMP(一种用于共享内存并行系统的并行计算方案),在分配28个线程时,加速比为1.17倍,结果表明该方法能够有效实现排列熵算法的加速执行。

基于模拟并行蚁群算法的无线传感器网络异常节点自适应定位方法

由于无线传感器网络自身节点数量庞大,导致在异常节点自适应定位过程中,定位到的异常节点个数较少的问题.针对上述问题,提出基于模拟并行蚁群算法的无线传感器网络异常节点自适应定位方法.从网络中提取出异常节点的原始数据,并对异常节点数据属性进行详细的解析,根据解析后的数据属性,利用蚁群算法的优化搜索特性,结合并行计算的思想,建立并行蚁群算法模型,模拟蚂蚁在寻找食物过程中的协作和寻优行为,运行并行蚁群算法,获取异常节点的估计坐标值,实现节点的自适应定位.实验结果表明,该方法在面对复杂网络环境和多种异常类型时能够定位到多个异常节点,增强了定位方法的鲁棒性和自适应性.

高分三号数据分布式负载均衡并行转换算法

针对PolSARpro软件原有高分三号数据转换模块无法适应分布式环境及数据转换效率相对较低的问题,提出一种基于MPI、MapReduce和OpenMP并按照该软件的数据格式要求进行分布式负载均衡的并行转换算法。该算法外层采用MPI按任务分布式计算,中间层采用MapReduce按景并行处理,内层采用OpenMP按极化方式并行计算,并采用“Z”字形数据负载均衡策略,将高分三号不同成像模式下的多极化数据快速精确定标及格式转换,以抗数据偏斜。实际数据的测试结果表明,该算法的整体性能提升了约50%,验证了算法的可行性、高效性和正确性。

基于聚类算法的多源信息融合并行处理探析

在多源信息融合并行处理过程中,由于数据的耦合性较强,并且逻辑存在较高序贯性,导致处理时机存在随机性,多源信息融合并行处理的难度大幅增加。为了有效解决多源信息融合并行处理过程中存在的难题,工作人员需要站在不同角度对多源信息融合并行处理进行深入研究。本文根据聚类算法提出了多源信息融合并行处理方法,先对数据融合并行处理分析进行了概述,随后讨论了数据融合并行处理架构,最后对其进行了总结,希望可以强化数据处理的效率,提升精准程度,满足计算要求。经过分析后可以发现,基于聚类算法的多源信息融合并行处理过程具备较强时效性,同时提升了处理容量,增加了扩展性,能够满足使用需求。

大规模协同虚拟环境下并行层次兴趣匹配算法

大规模协同虚拟环境运行过程中易产生大量冗余通信数据,影响虚拟现实技术性能的发挥。为了提升虚拟环境运行效率,提出并行层次兴趣匹配算法。创建协同虚拟环境概念模型,分解处理订阅区域信息,引入树结构理论搭建兴趣管理树,将订阅区域映射到兴趣管理树节点上,形成层次化结构,结合LSQR并行算法,实现更新区域与订阅区域的快速匹配。实验结果表明,提出算法获得的兴趣匹配消耗时间最小值为0.36 s,兴趣匹配成功指数最大值为0.94,充分证实了提出算法兴趣匹配性能较好。

基于种群混合迁移策略的并行量子遗传算法

针对量子遗传算法求解大规模优化问题存在收敛速度慢、易于陷入局部最优等问题,改进量子遗传算法。设计一种种群混合迁移机制促进算法的种群多样性,采用仿TriBA种群结构、双精英种群、重生种群、自适应迁移算子、个体竞争排挤算子以及随机失活机制,提高算法的局部勘测能力和全局寻优能力。利用Spark框架实现算法在分布式集群环境下的运算。改进2-opt&R优化算法,通过引入高斯变异提高算法的局部搜索能力,缩小算法的搜索空间。实验结果表明,改进后的算法在全局优化能力、收敛速度、运行速度和求解稳定性等方面均有大幅度提升。

多核数字信号处理卷积算法并行优化

针对国防科技大学自主研发的异构多核数字信号处理(digital signal processing, DSP)芯片的特征以及卷积算法自身特点,提出了一种面向多核DSP架构的高性能多核并行卷积实现方案。针对1×1卷积提出了特征图级多核并行方案;针对卷积核大于1的卷积提出了窗口级多核并行优化设计,同时提出了逐元素向量化计算的核内并行优化实现。实验结果表明,所提并行优化方法实现单核计算效率最高能达到64.95%,在带宽受限情况下,多核并行扩展效率可达到48.36%~88.52%,在典型网络ResNet50上的执行性能与E5-2640 CPU相比,获得了5.39倍性能加速。

基于改进FP-Growth算法和贝叶斯的营业线施工安全风险分析

铁路营业线施工事故致因因素众多且存在关联关系,挖掘事故致因之间的关联关系和因果关系对事故的预防管控具有重要意义。通过文本挖掘对2010—2022年某路局营业线事故调查报告进行处理,提取出51个事故致因因素。基于事故因果连锁理论将致因因素分为人因层、设备层、环境层、管理层4个层级进行分层分析,构建铁路营业线施工事故致因体系。基于压缩算法和差分编码对传统FP-Growth算法进行改进,以此对铁路营业线施工事故致因进行挖掘,找到满足提升度要求的高支持度关联规则和高置信度关联规则,发现关键致因关联和事故致因规律。基于贝叶斯网络理论、致因关联关系和专家经验建立营业线施工安全风险贝叶斯网络,结合复杂网络理论分析网络节点度、聚类系数与节点介数等特征,找到关键致因因素。在此基础上,运用因果推理和故障诊断推理进一步剖析营业线施工过程中的高风险致因,并从“人防、物防、技防”3方面提出预防管控措施。案例结果表明:施工人员操作不当、施工造成接触网故障、施工导致设施设备侵限、施工作业损害电缆设备、施工造成轨道电路故障和施工、检修、清扫设备耽误列车类事故之间的关联关系较为频繁,且为红光带事故的高概率致因,在施工作业过程中应多层次重点预防管控。研究成果为铁路营业线施工安全管理提供一种新的风险分析方法。

基于FP-Growth算法的直流输电系统阀基电子设备缺陷关联性分析

换流阀控制设备作为直流输电系统的核心设备,对其阀基电子设备进行缺陷异常分析是保证直流输电系统稳定可靠运行的基础。提出一种基于FP-Growth算法的直流输电阀基电子设备缺陷关联性分析方法。首先基于阀基电子设备的基本结构与原理,采集阀基电子设备缺陷数据;接着对原始数据进行预处理,量化编码后导入FP-Growth算法,通过构建FP-Tree,计算其支持度和置信度,分析阀基电子设备的缺陷特征和影响因素以及各元件之间的关联关系。该方法能高效智能实现对直流输电系统核心设备缺陷的关联分析及故障溯源,为运维人员检修策略的制定提供了理论依据。最后以实际直流输电系统换流阀阀基电子设备缺陷数据仿真算例对所提方法的有效性进行了验证。