Hadoop分布式架构下大数据集的并行挖掘

基于Hadoop分布式计算平台,给出一种适用于大数据集的并行挖掘算法。该算法对非结构化的原始大数据集以及中间结果文件进行垂直划分以确保能够获得完整的频繁项集,将各个垂直分块数据分配给不同的Hadoop计算节点进行处理,以减少各个计算节点的存储数据,进而减少各个计算节点执行交集操作的次数,提高并行挖掘效率。实验结果表明,给出的并行挖掘算法解决了大数据集挖掘过程中产生的大量数据通信、中间数据以及执行大量交集操作的问题,算法高效、可扩展。

基于GF集的并联机构末端运动特征分析方法

提出了一种基于GF集的机构末端运动特征分析方法,该方法简单直观.GF集是对机构末端的运动特征进行描述的集合.首先介绍了GF集的基本概念,其次提出了基于GF集的并联机构构型方法,介绍GF集的求交运算法则,而后给出了对机构末端运动特征进行分析的步骤.最后,根据该方法分析了D e lta机构,得到了正确的结果.

基于水平集的并行融合图像分割

针对复杂背景和多目标空中运动物体的定位和跟踪问题,研究了基于小波变换阈值去噪方法、数学形态学去噪方法与水平集方法结合的图像分割方法,提出了基于小波变换阈值去噪与水平集结合方法以及基于小波变换阈值去噪、数学形态学去噪与水平集结合方法的并行融合图像分割方法,对运动目标进行边缘检测。实验结果说明,基于小波变换、数学形态学与水平集方法结合的并行融合图像分割方法能够有效地提取目标物体的轮廓,抑制背景噪声。

基于多交易项目子集的并集的关联规则更新采掘

在交易数据库和最小支持度不变条件下，充分利用在多个交易项目子集中已采掘频繁接式集，对该多个交易项目子集的并集的关联规则的采掘，提出了两种快速更新算法Ｋｚｌ－ａｒ和Ｎｚｌ－ａｒ．

频繁闭合项目集的并行挖掘算法研究

频繁项目集挖掘因其在数据挖掘领域中的基础地位和广泛应用备受学术界和产业界的关注,用挖掘频繁闭合项目集代替挖掘频繁项目集是近年来提出的一个重要策略。不同于以往提出的挖掘所有频繁项目集的并行算法,本文针对频繁闭合项目集的特性及并行挖掘的特点,给出了共享存储器模型上(Shared Memory)基于频繁模式树(FP-tree)的挖掘频繁闭合项目集的并行算法(FCIPM)思想,提出了频繁闭合项目集直接判断法,性能分析表明所提技术对算法的性能提高起到了关键作用。

构建适用于深度学习的海浪样本数据集的并行算法实现及性能优化

采用深度学习算法来实现海浪等级的划分,数据来源于洋山港视频监测及同步海浪测量。针对近岸海浪识别系统中,构建海浪样本数据集中图像处理部分计算量超大的问题,设计一种海浪样本数据集图像处理的并行化运算方案。构建海浪样本数据集时,主要将视频进行关键帧提取,经过加权均值滤波去噪,生成与海浪等级对应标签,实现了海浪样本数据集的构建。在多核计算机上采用Open MP对海浪样本数据集图像处理过程进行并行算法仿真,同时完善相关代码的性能优化。实验结果表明,设计的并行算法比串行算法大大地提高运算速度和多核利用率,当优化后线程K=8时,加速比可以达到24.29。该算法具有扩展性好、性能高、使用简单方便、价格低廉的优点,具有良好的实用价值。

不生成候选项目集的并行挖掘关联规则

为了减少并行挖掘关联规则过程中产生的网络流量及同步次数,提高挖掘效率,在Tree-DM算法的基础上,提出了不生成候选项目集的并行关联规则挖掘算法Ptree-DM。给出了Ptree-DM算法的执行示例,并对该算法的效率进行了分析和讨论。

不同规则下的经典错误集的并运算

为定量化描述错误,本文在文[1]的基础上,提出了不同规则下的经典错误集的并的概念,专门研究了不同规则下的经典错误集的并运算及其所满足的一些运算律。

面向大规模数据集的并行化Top-k Skyline查询算法

随着数据规模的日益庞大,在大规模数据集中帮助用户定位出数据量可控的代表性信息显得越发重要。虽然Top-k Skyline查询能够找到数据集中前k个最具代表性的信息,在获取代表性信息的同时又控制了结果规模,满足了上述要求,但是现有的Top-k Skyline查询在面对大规模数据集时效率较低,并不适用于大规模数据集。为了解决这个问题,将Top-k Skyline查询与并行化处理相结合,提出了一种面向大规模数据集的并行化Top-k Skyline查询算法PTKS(parallel Top-k Skyline),通过充分利用分布式资源,将原有查询进行有效的并行化处理,同时设计了基于用户偏好的用于缩减结果数据量的筛选规则,满足用户需求。在真实数据集上进行了相关实验,并与现有方法进行了对比,结果表明PTKS在大规模数据集上的查询效率更具有优势,能很好地适用于大规模数据集。

基于规范划分集的并行循环计算划分

计算划分问题是并行编译中最为重要的问题之一.针对并行循环,在数据分布确定的情况下,提出了基于规范集的计算划分算法,具体讨论了规范集的获取方法及综合通信与负载均衡的最优方案选取算法.实验表明,在并行循环处理方面,这一算法与以前几种算法相比更加简单、有效;采用这一算法的p_HPF编译器对数据并行应用问题可以获得良好的加速比和效率.该编译器已在石油领域得到应用.

一种基于纵向划分数据集的并行决策树分类算法

本文提出了一种处理多属性数据集的快速可扩展性并行分类算法—FSPC算法。它首次采用了纵向划分数据集以及在测试属性的选择过程中同步划分数据集等方法。实验结果表明 ,它不仅有利于减少通信及进行I/O的开销 ,而且有利于提高算法的并行度。

基于规范划分集的并行循环编译框架

Compilation of parallel loops is one of the most important parts in parallel compilation and optimization. This paper mainly discusses the key techniques during the compilation implementation of parallel loops, based on the uniform partition schemes. It includes techniques in local array index generating, loop space reconstructing, communication detecting and organizing and data dependence disposing. The efficiency of this implementation has been proved by lots of experiments. The p_HPF compiler which adopts this compiling framework can obtain good speedups and efficiencies. The compiler has been applied in many fields, particularly the field of petroleum exploration.

Mandelbrot集的并行算法实现

为了对基于共享机制的分布式可扩展并行机群系统进行测试和性能评价， 在分布式共享存贮环境和分布式存贮环境下实现了Ｍａｎｄｅｌｂｒｏｔ 集． 介绍了Ｍａｎｄｅｌｂｒｏｔ 集， 给出了Ｍａｎｄｅｌｂｒｏｔ 集在两种环境下的并行算法及实现， 并对其实现特点进行了分析和比较． 进而又讨论了在两种环境下带图形控制面板的并行算法的实现，

可数个可数集的并的可数性

“可数个可数集的并是可数集”这一定理在有关集合论的教材中常以“对角线方法”给出证明。本文将对角线方法的证明中“可数无限个互不相交的可数无限集的并与正整数集Z+的对应关系”以映射的形式给出,可以比较清楚地反映这一对应关系,并具有一定的典型性。同时以另一套方法证明了“可数个可数集的并是可数集”这一定理,使得这一定理的证明更加严格。

有限元分析中刚度阵组集的并行算法

提出一种有限元分析中刚度阵组集的并行算法，该算法为完全导步算法，适合于紧耦合式和松散耦合式MIMD型并行机。经分析，该算法具有较理想的加速比。

一种面向不等尺寸分块海量数据集的并行体绘制算法

传统的体绘制方法需要将原始体数据全部装入内存,无法应用于Out-of-core(海量)数据集。针对这个问题,提出一种有效的针对海量数据集的分块并行体绘制方法,以提高渲染海量数据的速度。在充分区分背景体素的非均匀尺寸分块的体数据集上,通过分块间的遮挡关系构建全局遮挡关系图,对分块进行分组并行渲染。实验表明,该方法在海量数据集上达到了比现有方法更快的渲染速度。

宁夏回族自治区碳捕集、利用与封存源汇匹配与集群部署

“双碳”(碳达峰、碳中和)战略背景下,碳捕集、利用与封存技术(CCUS)是实现化石能源大规模低碳化利用的关键技术之一。近年,CCUS技术呈现出规模化和集群化发展趋势,而科学、合理的源汇匹配是CCUS集群部署工程选址的重要依据,能够建立高效CO_(2)输运管网、降低减排成本。宁夏是国家能源安全战略布局的重要保障基地,能源结构偏煤、工业结构偏重特征明显,面临着巨大的碳减排压力。针对宁夏CCUS集群部署的源汇匹配问题,调研评估了宁夏工业碳排放源特征和地质碳汇潜力,构建了CCUS源汇匹配模型,在充分考虑源汇性质、捕集-输运-封存成本、CO_(2)运输距离、区域地理条件、土地利用类型、人口密度等因素基础上,应用改进的节约里程法和基于地理信息系统(GIS)的最低成本路径优化法,结合ArcGIS平台和优化求解软件,获得了宁夏CCUS源汇匹配优化和应用方案,并提出宁夏CCUS集群部署建议。结果表明,截止2021年,宁夏工业碳排放源107个,碳排放总量2.26亿t/a,以化工(含自备电厂)和电力行业碳排放为主。宁夏主要封存地质体包括深部咸水层、深部不可开采煤层和油气藏,CO_(2)理论地质封存容量151.55亿t,以深部咸水层封存潜力最大。宁夏CCUS源汇匹配效果较好,在源汇直接相连的情况下,区内年排放量10万t以上的大型工业排放源CCUS集群部署(30 a规划期)总成本约2.45万亿元,并以捕集成本为主,占比83.65%,单位减排成本402.32元/t,共需建设CO_(2)运输管道2 459 km;改进的节约里程法和基于GIS的最低成本路径优化法可大幅降低CCUS集群部署成本,优化后CCUS单位减排成本降至381.76元/t,节约管道建设里程938 km。宁夏应聚焦电力、化工等“两高”(高耗能、高排放)行业,在以宁东能源化工基地为重点的北部、东部地区超前应用CCUS技术,打造宁东能源化工基地、银川—吴忠、石嘴山、中卫和固原5个CCUS特色集群,构建宁夏特色的工程化CCUS全流程技术模式。

基于集对分析的区域水利高质量发展评价方法

基于发展目标、发展途径、发展条件相作用形成的区域水利高质量发展系统结构和相对联系数的指标体系筛选方法,构建了由59个评价指标、11个发展方面、3个发展子系统组成的区域水利高质量发展评价指标体系;利用专家咨询和遗传层次分析法确定各指标权重,采用集对分析计算指标、方面、子系统和样本4个层次与区域水利高质量发展评价标准集对间的联系数,应用减法集对势判断4个层次区域水利高质量发展状态,建立了基于集对分析的区域水利高质量发展评价方法(SPA-HDEM),并将其应用于陕西省2020年10个地市的水利高质量发展评价中。结果表明:西安水利高质量发展状态处于中等偏较高等级,咸阳、汉中、渭南、安康、宝鸡、榆林均处于中等等级,延安、商洛、铜川均处于较低偏中等等级;非陕南的7个地市的发展条件均不佳,10个地市的发展途径均相对较低;各地市处于反势的指标中,西安有“人均水资源量”等11个、铜川有“防洪堤防达标率”等32个、宝鸡有“水利投资占GDP比重”等16个、咸阳有“人均生活用水量”等14个、渭南有“水资源开发利用率”等19个、延安有“供水模数”等21个、榆林有“供水模数”等22个、汉中有“防洪堤防达标率”等15个、安康有“防洪堤防达标率”等21个、商洛有“人均工资”等25个,重点调控这些反势指标是全省水利高质量发展工作中的重要任务。SPA-HDEM适用性强,在已知评价等级标准的实际区域水利高质量发展评价问题中具有应用前景。

含碳捕集电厂与氢能多元利用的综合能源系统低碳经济调度

随着中国“碳达峰·碳中和”战略的不断推进,综合能源系统的绿色低碳转型迫在眉睫。针对传统碳捕集电厂灵活性较差、风电并网难以消纳等问题,提出一种含碳捕集电厂与氢能多元利用的综合能源系统低碳经济调度模型。首先,引入储液罐对传统碳捕集电厂进行改造,提高电厂应对风电波动的运行灵活性;其次,构建含两段式电转气、氢燃料电池、储氢罐和掺氢热电联产在内的氢能多元利用结构,以充分挖掘氢能利用与碳捕集电厂的协同运行潜力。在此基础上,引入阶梯碳交易机制,建立以碳交易、碳封存、燃煤及购气成本之和最小为优化目标的低碳经济调度模型。算例结果表明,文中模型能够有效提高系统的风电消纳水平和能源利用效率,具有显著的低碳经济效益。此外,碳交易基准价格的合理设定能够引导系统提高碳捕集水平。

集成化白云石悬浮煅烧引领镁产业变革

白云石煅烧作为硅热法炼镁的第一步,不仅是主要的能耗和碳排放环节,其煅烧产物的质量更是直接影响原镁的产率与品质。目前主流的回转窑煅烧工艺存在热效率低、能耗高、污染大、单线产能低、产品质量不稳定等问题,整个煅烧工序亟待技术革新。提出了利用悬浮态煅烧替代回转窑进行白云石煅烧,并对两种工艺进行了综合对比,悬浮煅烧呈现出显著的技术、环保及经济优势:理论上节能50%以上,CO_(2)减排超20%,生产成本较目前降低35%,而且可以有效避免“过烧”和“欠烧”,获得高质量、性能稳定性好的煅烧产物,为后续炼镁环节提供优质原料。还分析了用绿色、高效的集成化白云石悬浮煅烧技术替代目前的“分散式”煅烧的可行性及对整个镁产业可能产生的颠覆性影响。