基于Spark分布式框架的海量星表数据时序重构方法研究

时序重构是时域天文学中的一个重要数据处理步骤,也是拟合光变曲线、开展时域分析研究的基础。Hadoop、Spark这类MapReduce分布式模型在执行过程中分布式集群节点间的任务比较独立,需要跨节点的数据传输量较少。提出了非阻塞异步执行流程,每个分布式进程完全针对独立天区的数据进行连续处理,而分块边缘的新增天体导致的其他节点的新增证认任务延时批量追加,并且会根据各进程间的进度不同确定追加方式,保证证认计算没有遗漏,从而在提高并发效率的同时保证算法的精度。此外,对两表间的不同Join策略从理论和实验两个角度进行了研究并提出了免Join策略。最后通过基于Spark分布式框架的高效时序重构系统的设计完成了以上研究的验证。实验表明,与以往研究结果相比,该时序重构算法效率提升明显,为时域天文学中的天文时序数据分析的开展打下了良好的基础。

物联网平台下的分布式数据融合管理系统设计与实现

随着物联网技术的快速发展,感知终端之间的数据融合、交互与共享成为智能物联网高层应用的基础。目前,我国各行业的管理系统还存在较大的“信息孤岛”现象,本文为了解决上述问题而提出的总体方案和总体方案。在此基础上,设计了数据融合平台、分布式实时库管理等各子系统的功能结构,针对个问题提出来系统的总模块设计与总架构设计。并对系统五大子系统:数据融合平台、分布式实时库管理、客户端代理、集群、元数据服务器的功能架构进行了设计。为高效处理、分布式存储等提供借鉴。

基于Spark平台和多变量L_2-Boosting回归模型的分布式能源系统短期负荷预测

分布式能源系统负荷预测是系统规划与经济运行的可靠前提和依据,在当前海量高维数据的背景下,有效的在线数据处理平台与精确的负荷预测方法是当前的研究重点。基于分布式能源系统负荷数据特点,在缺失数据处理、坏数据分类以及特征选择的基础上,建立了基于Spark平台与多变量L_2-Boosting回归模型的分布式能源系统短期负荷预测方法。首先,利用Spark平台分割全部数据得到多个子数据模型,通过并行计算提高数据处理效率,采用特征提取方法得出模型需要的输入向量;其次,将得出的有效数据信息输入到多变量L_2-Boosting回归模型进行训练学习,得到训练后的多变量L_2-Boosting回归模型;最后,利用测试数据测试模型。算例结果验证了所提模型的有效性。

基于区块链技术的分布式电力市场交易平台研究

随着电力体制改革的推进以及大规模可再生能源的接入,参与电力交易的市场主体数量日益增加,导致了传统的集中式交易平台难以处理急剧增加的交易数据、难以实现跨区域的信息共享和资源统一优化配置。为此,提出了基于区块链技术的分布式电力市场交易平台,利用区块链技术去中心化、开放性、匿名性及安全可靠性等优势,建立基于电力交易智能合约的分布式电力交易机制,采取分布式出清交易方式满足大规模电力交易需求,适应大规模可再生能源的迅速发展。

基于混合云架构的分布式协同信息共享平台设计

随着云环境的日趋复杂和信息分享需求的日益增大,设计了一种基于混合云架构的分布式协同信息共享平台。设计公、私有云混合环境下的信息共享平台的各项功能,通过定义共享平台数据的敏感度、空间饱和度以及访问频率等参数,为数据选择合适的存储位置;采用新型数据命名规则,将不同数据命名为一级数据或多级数据,从而实现共享数据的高效分发;还设计一种改进型公私钥双重加密技术,保护共享平台的数据安全,通过建立加密秘钥、权限矩阵和服务器密文三种加密数据,并与云共享平台再度结合产生重加密密文,实现指定用户的指定数据安全共享。经过试验验证,设计的分布式协同信息共享平台在数据存储、数据传输与数据安全方面均有较高的性能。

动平台分布式雷达系统动目标低比特数据检测算法

动平台分布式雷达系统可有效提升系统的生存能力和探测性能,但运动平台之间通常采用无线传输方式,难以配备大通信带宽以传输完整的信号数据,给雷达系统的高性能检测带来极大挑战。由于低比特量化技术可显著降低分布式系统的通信传输代价和计算资源消耗,该文针对低信噪比弱信号环境下提出了动平台分布式雷达系统的低比特量化运动目标检测算法。首先,根据系统资源将各节点的多脉冲观测数据选择对应位数的低比特量化器进行量化,推导了关于量化器和多个目标状态的似然函数。其次,证明了低比特量化数据对应似然函数关于未知目标反射系数的凸性,并基于该特性设计了多普勒频移和反射系数的联合估计器。然后,针对探测区域中存在的多个状态未知目标设计了多目标检测器,推导了其恒虚警率门限。最后,通过推导系统的渐近性能设计了最优低比特量化器,在保证系统鲁棒性的同时有效提升了系统的检测性能。仿真实验分析了所提算法的检测与估计性能,结果证明了所提算法在低信噪比弱信号环境下的有效性,同时表明低比特量化数据可在仅占用低于20%通信带宽的基础上实现接近高精度(16比特量化)数据对应的检测和估计性能,且2比特量化策略可作为检测性能和雷达系统资源消耗的折中选择。

云平台网络节点单体监控信息分布式存储方法

针对监控信息储存负载不均衡、丢包率高等问题,提出云平台网络节点单体监控信息分布式存储方法。将监控信息源当作一个由多个事件构成的集合,通过事件概率分布计算信息熵的最大值,根据该值完成监控信息压缩和去冗余处理;利用异地数据备份恢复算法计算远程服务器负载,结合负载情况实时调整备份任务分配量,确保负载均衡,避免信息丢失;建立包括软件服务、平台服务和基础设施服务的三层云储存架构,分析不同层次的功能;将分布式储存过程分为访问层、连接层与归档层,通过计算信息访问概率,判断监控信息是否满足储存要求,对于满足的信息直接储存,针对不满足条件的信息,利用粒度率调节弹性期望值,减少信息储存拥堵现象,实现分布式储存。实验表明,所提方法压缩效果好,能够确保储存节点的负载均衡,减少了监控信息丢失现象。

基于云平台的企业远程办公文件分布式存储方法

为提高数据的读写性能,设计基于云平台的企业远程办公文件分布式存储方法。总体架构由计算层、数据接入层、存储层、数据聚集层构成。存储层由Hadoop集群构成,各集群由NameNode管理;计算层与数据接入层可以实现数据的持久化存储;数据聚集层采用一致性多副本哈希存储算法作为数据聚集算法。通过搭建虚拟化云平台统一管理多个服务器,创建主机虚拟集群。设计文件加解密过滤器进行数据加解密。设计随机化数据冗余算法进行数据冗余。测试结果表明设计方法的集群负载情况良好,读、写带宽最高达到3798 bps和3912 bps,读、写速率最高达到3298字节/s和3258字节/s。

基于区块链技术的分布式能源交易与管理平台研究

区块链是现代科技飞速发展背景下的新兴产物,属于分布式基础架构,具备去中心化、公开化、透明化、不支持篡改以及可溯源等特性,和分布式能源交易的标准与要求不谋而合。现阶段,分布式能源交易体现出了极强的自治、自发进行等特征,加之分布式能源具有显著的个体趋利特点,导致其出力存在严重的不稳定以及不确定性,对交易的执行率与成功率均形成强烈的负面影响。本文针对基于区块链技术的分布式能源交易与管理展开研究,介绍基于区块链技术的分布式能源交易模式,构建了基于区块链技术的分布式能源交易与管理模型,测试结果表明平台具有较佳性能,能保障区块链能源交易的顺利进行。

基于计算机技术的遥感大数据分布式管理与训练云平台设计

随着遥感技术的发展,遥感数据类型从数据量小、处理周期短的数据发展到大容量、处理周期长的数据,对大数据技术的依赖日益突出。近年来,基于云计算的分布式计算技术逐渐应用于大数据领域,将其与云存储、云服务器、云应用系统有机结合起来,实现了在资源池中动态分配和调度大数据计算任务。在遥感大数据的处理中,通过分布式计算技术,将计算任务分散到各个计算节点上,实现对遥感数据的分布式处理和管理。同时,通过训练云计算平台中的大数据应用框架以及机器学习算法等技术来提高训练效率。

分布式中水回用监测云平台研究与设计

中国是一个中度缺水的国家,中水回用已成为企业解决水资源问题的有效途径。然而,中水回用过程中存在许多问题,如水质波动大、处理效率不稳定等,这些问题严重影响了中水回用的效果和应用范围。分布式中水回用监测云平台通过LoRa和NB-IoT两种物联网技术实现对中水回用水质的实时监测并上传至服务器。服务器存储并以网页形式提供数据的实时在线查看和下载功能。同时,该平台还可以为企业提供定制化的中水回用监测解决方案,帮助企业实现水资源的高效管理和水环境的持续保护。这将有助于企业降低运营成本、提高水资源利用效率、增强企业竞争力。

分布式数据库技术在气象大数据平台中的应用研究

随着气象观测技术的快速发展和数据收集手段的日益多样化,气象观测数据展现出的爆炸式增长,使气象大数据平台面临巨大挑战。分布式数据库技术以其高效处理、良好扩展性和容错性,为气象大数据平台提供了新的解决方案。本文深入研究了分布式数据库技术在气象大数据平台中的应用,概述其原理、关键技术和优势,并分析其应用,旨在为气象大数据平台的数据处理和分析提供有益参考。

基于gRPC的城市轨道交通线网运营指挥平台分布式图纸数据同步更新方法

针对城市轨道交通线网运营指挥平台(简称:线网运营指挥平台)图纸数据更新面临的业务数据量大、效率低,以及图纸一致性难以保障等问题,提出一种基于gRPC的分布式图纸数据同步更新方法。通过对线网运营指挥平台图纸数据更新业务流程的深入分析,设计了技术架构,并详细阐述了图纸分类存储、图纸更新服务、gRPC分布式图纸通信中心、多语言跨平台客户端及图纸更新集合识别等关键技术。实际应用表明,该方法实现了线网运营指挥平台多客户端集群下图纸版本同步更新与一致性保障,有效减少了人工维护图纸版本的工作量,提升了处理效率,为线网运营指挥平台大规模图纸同步更新提供了一种新的解决方案,也为网络化运营提供了重要技术支持。

分布式智能化省级IPTV监管平台的设计与实现

本文设计的IPTV监测监管平台是在集成播控分平台、传输分发节点、地市IPTV监管节点、用户终端四大环节上建立四级监管架构,该平台基于CPCI架构分部式部署监测前端、利用电子节目指南EPG多级比对技术检测违规节目、通过人工智能进行传播秩序监测等,最终达到对IPTV节目源、传输和分发、用户终端的全程全网、全链路闭环式监管,保障IPTV节目内容安全、网络安全、意识形态安全。

Spark平台下的分布式函数依赖发现算法

函数依赖发现被广泛应用于分布式大数据分析,是数据清洗、质量评估和语义分析的重要手段.已有函数依赖发现算法主要针对集中式数据,不适用于分布在不同节点上的云计算数据.将分布式数据汇集到集中节点非常耗时,而使用传统集中式方法分别处理分布式节点上的数据会导致错误的结果.已经存在的分布式算法存在内存消耗过大的缺点.因此,本文提出一种基于云计算数据处理平台Spark的快速低内存分布式函数依赖发现算法.该算法提出了多个分布式任务分配策略和基于标识符集一致性的最大等价类元素去重策略,在保障正确性前提下,减少了集合交集运算的次数,加快了处理速度.实验结果表明,与传统集中式算法相比,本文提出的分布式算法在本实验环境下使平均执行时间降低了50%左右,去重策略进一步降低了30%左右执行时间.和已有分布式函数依赖发现算法相比,在有些实例上可以节省大约75%的内存.

基于Hadoop平台的分布式文件云存储系统设计

数据量的激增促进了分布式文件系统的迅速发展,Hadoop作为一个开源框架,以其高效的数据存储与处理能力在分布式系统中占据重要地位。通过Hadoop Distributed File System(HDFS)实现大规模数据集的分布式存储,YARN为资源管理提供了弹性调度,使得Hadoop成为处理大数据问题的理想平台。本文探讨了基于Hadoop平台的分布式文件云存储系统设计,旨在提供一种高效可靠的分布式文件云存储解决方案,以支持大数据时代下的数据存储与处理需求。

基于云平台和分布式计算的大规模图像检索

为了获得理想的大规模图像检索结果,设计基于云平台和分布式计算的大规模图像检索方法。采用云平台和分布式计算技术构建图像检索环境,使用SIFT算法提取图像检索特征,通过k-means聚类进行特征向量降维,根据视觉词典与图形向量的对应关系构建倒排索引结构,初步实现图像的大规模检索,利用多特征融合方法进一步提升图像检索的准确性。测试结果表明,该检索方法具有较好的扩展率与加速比,图像检索准确性高,图像检索效率高。

分布式水利信息安全管理平台的设计与应用

水利建设不仅关系到国计民生,其中还涉及国家水利安全等方面,因此我国在加快水利建设的同时,也高度关注水利信息安全平台建设。本文提出一种基于分布式技术的水利信息安全管理平台设计方案,并结合水利建设的实际情况,从应用侧详细阐述该信息安全管理平台的基本架构与功能,以期为我国水利安全提供参考。

分布式光伏智慧管控平台建设

文章阐述了建设分布式光伏智慧管控平台的意义,以国能重庆风电开发有限公司为例,对建设分布式光伏智慧管控平台提出了相应建议。

基于虚拟化的大数据分布式实验平台的研究与实践

针对高职院校大数据技术专业多门核心课程的实验环境复杂与学生实验困难问题,提出基于虚拟化的分布式大数据实验平台辅助课程实验教学。本文从职业院校大数据技术专业全国申报情况、大数据专业实验系统现状、实验平台方案、实验平台技术路线中的关键技术与工具介绍、总结效果等方面,详细介绍了虚拟化的分布式大数据实验平台的技术原理及客户端与服务器端软件版本信息。该平台融入大数据行业企业的实际岗位技能需求、全国职业院校技能大赛大数据赛项规范、大数据技术专业核心课程要求与“1+X”大数据平台运维职业技能等级证书标准等要求。通过实践教学分析,该方法方便学生学习大数据专业相关核心课程的实践操作,提高了学习效果。