基于BS架构的分布式文件数据并行访问方法

当前的分布式文件数据并行访问矩阵多为单结构,且访问的识别范围较小,导致访问耗时延长。为此,本文对基于BS架构的分布式文件数据并行访问方法进行设计与分析,根据实际的访问需求和标准,进行基础并行访问数据预处理;采用多阶的形式,扩大访问的识别范围,设计多阶交叉并行访问矩阵,构建BS架构分布式文件数据并行访问模型;采用自适应转换修正实现并访问处理。测试结果表明,对比于传统Spring分布式文件数据并行访问测试组、传统CP-ABE分布式文件数据并行访问测试组,此次设计的BS架构分布式文件数据并行访问测试组最终得出的分布式文件数据并行访问耗时均被较好地控制在0.2s以下,说明此种访问方法的针对性和稳定性更高,在BS架构的辅助下,可以加强对访问误差的控制,具有实际的应用价值。

并行处理网络下半结构化大数据快速聚类方法

半结构化数据量已经超过PB级,在这种大规模数据集上快速响应交互式请求,对关系数据库查询和大数据处理技术都提出了挑战。然而当前的聚类算法均是离线批量处理结构化、非结构化数据。面对半结构化数据对象和应用需求的转变,需要对传统聚类算法针对性地优化和改进。设计一种并行处理网络下半结构化大数据快速聚类方法。首先,在常用的Linux与Windows网络环境中捕获大数据包,并对捕获的多源异构大数据做清洗和集成等预处理操作,完成数据准备工作;然后在并行处理网络下,基于MapReduce框架改进常规CanpoyK-means聚类算法形成BCK-means并行聚类算法,对多源异构大数据进行并行化聚类分析,实现半结构化大数据的快速聚类挖掘。实验结果表明,设计方法在10 s内即可完成不同类别的半结构化数据集的聚类且聚类结果稳定,在半结构化数据聚类挖掘效率方面具有优势。

基于随机森林的电网GIS数据分布式存储方法

内部电网地理信息系统(Geographic Information Systern,GIS)数据体量增加,对电网数据存储性能造成了极大的困难,为此,提出一种基于随机森林的电网GIS数据分布式存储方法。以跨域资源共享(Cross-Origin Resource Sharing,CORS)技术在电网GIS空间信息服务平台中获取的电网GIS数据为基础,根据类区分度数值选择电网GIS数据特征,引入随机森林算法分类处理电网GIS数据,将其合理分发给不同的服务器,采用并行处理手段存储分类数据,从而实现了电网GIS数据的分布式存储。实验数据显示:应用所提方法后,电网GIS数据分类精度达到了96.8%,电网GIS数据分布式存储时间最小值为5.2 s,充分证实了所提方法数据存储性能更佳。

基于大数据技术的非关系型数据库分布式存储方法研究

在当今信息时代,数据的复杂性不断增加,传统的关系型数据库在大规模数据存储和处理方面面临着挑战。非关系型数据库(Not Only SQL,NoSQL)作为一种新的存储和处理数据的方法,受到了广泛关注,并在分布式存储领域取得了显著的成就。文章重点探讨基于大数据技术的非关系型数据库分布式存储方法,并通过实验进行评估,发现其在可扩展性和安全性方面具有优势,可以为相关研究提供参考。

基于改进遗传算法的分布式数据库访问控制方法

分布式数据库具有一定开放性和复杂性,使得数据库面临严峻的安全挑战,为此,文章提出了基于改进遗传算法的分布式数据库访问控制方法。首先,生成分布式数据库用户的SPKI/SDSI证书链,采用参数自适应改进的遗传算法搜索SPKI/SDSI证书链,然后,构建一个基于SPKI/SDSI证书的分布式访问控制模型,通过该模型对用户访问请求中的证书链进行搜索与验证,实现分布式数据库访问控制。实验结果表明,该设计方法可准确且快速地识别恶意分布式节点,并限制其任何访问行为,保障分布式数据库的安全。

海量数据的分布式主成分分析算法及其在共同富裕测度中的应用

基于两轮型方法的分布式PCA算法(TR-DPCA),每台局部机器计算出和向量,并将它们传输到中央机器计算全样本数据的均值向量,再将它们传输给每台局部机器;然后,每台局部机器计算出散度矩阵,并将它们传输到中央机器计算全样本数据的协方差矩阵;最后根据协方差矩阵进行特征分解获得特征向量。通过数值模拟发现,TR-DPCA算法的表现与全样本PCA一致,且优于基于单轮型方法的分布式PCA算法。此外,将TR-DPCA算法应用到中国共同富裕测度中发现,中国的共同富裕水平呈现上升趋势,且个体差距在不断缩小。

基于大数据分析的分布式光伏预测与控制策略

分布式光伏系统的功率输出受到日照、气象条件以及负荷需求等因素的影响。通过预测和控制,可以调整光伏系统的发电功率,以满足电力需求的平衡并确保电力供应的可靠性。为此,本文基于大数据分析研究新的分布式光伏预测方法与控制策略。利用大数据技术采集分布式光伏数据,并对其归一化和融合处理。基于此,改进CNN网络对光伏的最大功率完成预测。最后利用粒子群算法实现分布式光伏功率的控制。实验结果表明,研究方法下,光伏发电功率的波形更符合理想状态,且毛刺非常少。

利用分布式自动化并行处理框架提升空间数据分析效率

围绕GIS应用系统在空间数据分析效率提升的方面,本文提出了一套基于分布式自动化并行处理框架的效率提升方法,阐述了如何基于ArcPy、WebAPI、分布式调度、调度控制因子等关键技术,实现分布式自动化并行处理。本文方法有助于便捷、高效地解决大量空间数据分析处理的效率问题。

分布式并行计算技术在遥感数据处理中的应用

阐述了遥感影像数据并行处理的结构层次、计算模型、同步通信等问题,实现了在PC机群上对遥感影像线性拉伸的并行处理,证实了其实用性和有效性。

基于服务总线浮动车数据分布式并行处理算法

FCD(Floating Car Data,浮动车数据)是一种新型的交通信息检测技术,其核心是利用具有GPS/北斗定位和通讯功能的车辆(如城市出租车等)采集的位置、时间、速度等数据,并把这些数据与电子地图进行单点匹配,以及路径推测等,最后可直观描述道路的交通流状况。然而,海量浮动车数据处理存在性能方面的瓶颈,为此,本文针对大规模浮动车数据进行分布式并行处理等关键性算法研究,在单机多线程处理的基础上,通过服务总线,实现了FCD分布式并行处理系统及FCD实验平台,该平台不仅能够对处理任务按车辆分配,还能根据实际需要,按浮动车时间段进行分配,并且实现了计算单元的动态弹性扩展。通过北京市实际浮动车数据集和路网数据测试,实验结果表明,处理效率得到较大幅度提升,并且通过负载均衡优化,进一步降低处理时间,验证了该算法的有效性,更好地解决了大规模复杂空间数据运算的效率问题。

基于云计算的分布式数据安全存储方法

云计算由于是分布式的,为了提高数据安全存储效率,本次研究以分布式数据为例,引进云计算技术,设计一种全新的安全存储方法。先将分布式数据划分为正常序列与异常序列,根据序列的类别及其长度,将其放置在网络不同缓冲区域中。采用对分布式数据集序列分割的方式,提取数据集特征。然后引进云计算技术,将数据录入云存储空间中,设计高密度数据的压缩与过滤。圈出节点所在的空间位置,定义分布式数据为源数据包,生成存储数据包,根据数据的流向、数据的操作方式,评估并分析节点是否为关键信息或隐私信息。最后设计信息存储过程中的安全等级或加密方式,实现对存储节点的安全认证。对比实验结果证明:本文设计的安全存储方法可在提高存储节点响应时间、提高存储效率的同时,有效控制数据存储的丢失,提高数据存储的安全性与可靠性。

基于分布式并行处理的远程监控通信系统设计

论文针对小区泵站远程监控系统中的被控设备来源不同地区和不同的厂家,所使用的通信协议各异、通信效率较低的特点,通过对计算机监控中的协议的剖析,提取了该类型通信协议的主要特征,采用了分布式并行处理技术,在每个小区引入一个具有路由功能的通信单元,缩短了各个小区的通信时间,取得了很好的效果。文中给出了系统的设计思路,并进行加速比等效率的分析。

海量空间数据的分布式存储管理及并行处理技术分析

改革开放以后,随着经济及社会的不断发展,我国的科技也在不断进步,对于计算机领域来讲同样如此。计算机领域科技的进步使得海量空间数据的分布式存储管理成为了目前为止行业内较为重视的一大问题,本文主要从海量空间数据的分布式存储管理出发,重点讨论了有关Mongo DB非关系数据库的问题,继而分析了其处理技术,希望能为对海量空间数据的高效处理提供一定的帮助。

基于高性能云的分布式数据挖掘方法

为实现数据在同一个地点进行处理而无须移动,介绍一种基于高性能云的分布式数据并行处理方法。使用一个专用的网络服务分层结构,适用于高性能广域网络连接的计算机集群所产生的大型分布式数据集的数据挖掘。实验结果表明,与Hadoop方法相比,该方法的性能有显著提高。

海量空间数据的分布式存储管理及并行处理技术分析

文章首先分析了海量空间数据的分布式存储管理,随后对海量空间数据并行处理过程的实现进行论述。期望通过本文的研究能够对海量空间数据的高效处理有所帮助。

基于样本数据重复性的分布式数据库自动化查询方法

为提高分布式数据库数据的查询效率和准确率,设计一种考虑样本数据重复性的分布式数据库自动化查询方法。提取数据信息的主要特征,确定主要信息方程的权衡函数,整合重复样本信息;分段数据库内的数据,明确数据特征,自适应分解得出自动化查询聚类中心和目标函数;采用ICTCLAS分词系统计算关键词在文本中出现频率,根据灰狼优化算法求得最优函数集获取最优参数集;结合Shingle检测并标记样本信息匹配度,完成最终数据查询。实验结果表明方法查询准确率高于90%,平均耗时低于35 s,可被广泛推广使用。

分布式新能源接入配电网运行数据实时采集方法

因常规的配电网数据采集没有建立通信规约,导致采集信号波动较大,影响数据采集效率,所以设计了分布式新能源接入配电网运行数据实时采集方法。部署分布式新能源接入配电网运行数据采集点,针对分布式新能源的特点,使用不同新能源传感器,实时采集太阳能电池板输出电压、电流或风能涡轮机的输出功率、转速等数据。建立配电网运行数据远程通信规约,将电压、电流、电阻等待采集的数据以统一协议进行传输,确保配电网运行数据采集的准确性与可靠性。采用对比实验,验证了该方法的数据采集实时性、准确性均处于较高水平,能够应用于实际生活。

基于分布式KNN分类器的大数据分类处理方法设计

大数据时代的到来在一定程度上加剧了数据量的赋存,为此提出一种基于分布式KNN分类器的大数据分类处理方法。引进分布式KNN分类器,对大数据回归任务进行聚类处理,使用KNN算法对未知项进行检索,以欧几里德距离作为度量的标准,导出欧几里德距离计算结果,完成对任务的聚类。同时,整合MR框架,定义一个value处理键,将待分类的样本数据进行Map映射处理,规范大数据分类处理流程,当样本数据集合与中间key具备直接关联时,执行分类处理行为,完成对大数据分类处理方法的设计。在此基础上,设计对比实验证明设计的基于分布式KNN分类器的大数据分类处理方法,具有更高的处理效率。

基于分区选择的主动配电网分布式最优潮流分析

基于交替方向乘子法(ADMM)在分布式形式下解决主动配电系统最优潮流问题(OPF),针对分布式算法性能受到配电系统区域划分影响的问题,提出了一种基于量测数据驱动的电网分区方法,以加速优化算法的收敛速度。与传统的ADMM算法依赖于全局信息不同,本文引入了一致性方法来协调区域交界的平衡问题,从而实现最优潮流问题的完全分布式求解。此外,本文采用LinDistFlow(Linearized Distribution Flow)交流近似模型来应对配电网最优潮流问题的非凸性挑战。通过在不同规模的IEEE配电网案例上进行测试,验证了所提方法的有效性,且其在优化算法的迭代次数、计算时间和误差精度等性能上均优于其他分区方法。

深度强化学习在含分布式柔性资源的电网优化调度中的应用研究综述

自2020年我国提出“双碳”目标以来,屋顶光伏、电动汽车、分布式储能等灵活柔性资源呈海量化发展趋势,为新型电力系统平衡提供巨大调节潜力。但海量化柔性资源的多重不确定因素增加,时空决策变量愈发复杂高维,精确机理建模难度遽增,导致传统优化方法在求解含大规模、高度随机、认知困难的柔性资源电网优化调度问题时遇到瓶颈。近年来,深度强化学习作为新一代机器学习范式,在详细模型参数未知的情况下,通过与环境的交互学习最优策略,展现出应对此类挑战的能力。对此,该文基于深度强化学习方法,综述含分布式柔性资源的电网优化调度研究。首先,分析资源的运行特征、问题建模、求解策略等;其次,简要概述算法的原理与分类;接着,按照调度问题的不同侧重点,划分“需求侧用户能量管理、聚合层集群协调响应、电网端优化运行控制”场景,分析典型应用、算法效果等,并总结优势与不足,提出可改进点;最后,从仿真环境搭建、改进求解策略、增强智能体性能等方面,对未来的研究方向进行分析与展望。