海量数据的分布式主成分分析算法及其在共同富裕测度中的应用

基于两轮型方法的分布式PCA算法(TR-DPCA),每台局部机器计算出和向量,并将它们传输到中央机器计算全样本数据的均值向量,再将它们传输给每台局部机器;然后,每台局部机器计算出散度矩阵,并将它们传输到中央机器计算全样本数据的协方差矩阵;最后根据协方差矩阵进行特征分解获得特征向量。通过数值模拟发现,TR-DPCA算法的表现与全样本PCA一致,且优于基于单轮型方法的分布式PCA算法。此外,将TR-DPCA算法应用到中国共同富裕测度中发现,中国的共同富裕水平呈现上升趋势,且个体差距在不断缩小。

基于果蝇算法的医院电子档案海量数据快速查询方法

由于我国医院电子档案数据量每日呈爆炸式增长,导致数据查询方法难以准确且快速查询海量电子档案数据,文章提出基于果蝇算法的医院电子档案海量数据快速查询方法。对原始医院电子档案海量数据进行清洗、压缩等预处理操作,利用果蝇算法搜索预处理后的电子档案数据,获取数据查询位置的最优解,实现医院电子档案海量数据快速查询。实验结果表明,设计方法查询医院电子档案海量数据时查询代价消耗比仅2.61,具有优越的查询效率和扩展性。

基于关联规则的物联网海量数据分析系统研究

物联网设备产生的数据量庞大且复杂,如何有效地管理和分析这些数据是重要问题。文章基于已有的数据挖掘方法,提出了一种关联规则的网络检索算法,设计了一个物联网海量数据分析系统,并对该系统进行了性能测试与研究。测试结果表明,随着数据规模的增大,数据处理时间也相应增加,呈近似线性关系。在海量数据分析系统中,处理更大规模的数据会导致较长的处理时间,即数据处理时间与数据规模成正比关系。通过满足用户需求、提高系统性能以及降低成本费用,该算法能够有效地利用资源。

基于改进CS算法的移动网络海量数据低能耗传输方法

移动网络数据传输过程未考虑数据间相关性,导致数据传输能耗大,对此文章提出了基于改进CS算法的移动网络海量数据低能耗传输方法。文章分析移动网络海量数据传输能耗,引入混沌扰动系数改进CS算法。在此基础上选取改进CS的双簇头,解决传统方法数据传输路径长的问题,设计静态、动态传输队列低能耗传输模式。由实验结果可知,该方法数据传输完整,不同工作模式下,使用基于改进CS算法最高耗能为2 J,耗能较低,该方法将指导移动网络在工业应用中的实现。

能源工业互联网海量数据采集方法研究

为解决能源工业互联网海量多源异构数据采集并发数量低、采集速度慢的问题,提出了一种能源工业互联网海量数据采集方法。首先,计及各类能源工业设备的数据结构、采集频次和采集策略等因素,设计可扩展的多源异构数据采集架构;其次,建立能源工业互联网采集控制策略,采用多时间尺度控制方法,实现多源异构能源数据的高速采集;在此基础上,对能源工业互联网采集数据进行质量评估;最后,在某城市应用所提方法,其采集准确率约为99.9%。结果表明:所提方法可实现多源异构能源数据协同采集,提高能源工业互联网的采集效率与准确性。

云环境下海量数据组织与资源共享的存储模型研究

为满足海量数据在云环境中的存储与处理需求,并对其进行监控和维护,研究设计并实现一种云环境下海量数据组织与资源共享的存储模型。在研究过程中,设计云环境下海量数据组织与资源共享的存储模型,建立契合海量数据资源存储的分布式存储架构。根据模型架构需求,将模型划分为基础设施服务层、数据资源服务层、业务管理层与云应用服务层,明显解决数据写入不一致问题,具有良好的扩展性、可行性、稳定性与可靠性。

基于海量数据内外网交互联络的审计策略分析

阐述基于海量数据中内外网交互联络的审计问题及原因,提出一套综合审计方法,通过分析内外网交互数据,揭示潜在的安全隐患和风险,以帮助组织建立强大的内外网交互联络审计机制。

基于果蝇算法的数字化档案海量数据自动检索方法

常规的档案数据检索方法往往只能锁定大致位置范围,导致检索代价消耗较高。针对这一问题,本研究设计一种基于果蝇算法的数字化档案海量数据自动检索方法。首先,针对数据属性合理划分区间,将划分结果作为数据检索的提取条件。然后,利用果蝇算法建立智能搜索机制,精确确定检索范围。最后,针对检索范围,构建一个高效、自动的检索模型。该模型能迅速锁定目标数据,实现对数字化档案海量数据的自动检索。实验结果表明,应用该方法后,检索代价消耗比的平均值为2.45,检索代价消耗明显低于传统方法。这一结果说明,在面对大规模数据时,该方法能在保证检索质量的同时,实现更高的检索效率。

基于区块链的海量数据精准加密算法

海量数据加密的过程中需要进行大量的计算操作,而算法的复杂性会增加数据处理的时间,降低数据加密的性能。为此,使用复合混沌序列对海量数据进行敏感特征提取,以提取到的敏感特征为依据,通过逐步进位加法器,基于区块链对数据进行三进制的简洁编码,将编码后的数据作为加密的基础数据,对数据进行分割,并建立数据加密模型,实现对海量数据的精准加密。实验结果表明,设计的算法对不同大小数据的加密时间均小于4 s,说明设计算法效率较高,具有较好的应用价值,可以对数据进行快速精准加密。

基于多源海量数据可视化三维孪生技术的研究与应用

随着数字化时代的发展,当今社会生产和存储的数据量呈爆炸式增长,这些数据涵盖了多个领域、多个来源、多个维度,如何有效地从这些数据中获取有价值的信息和知识,成为一项挑战性的任务。本文介绍了基于多源海量数据可视化和三维孪生技术的研究与应用。其中,多源数据的获取和整合、数据预处理和清洗、数据可视化技术和方法等方面得到了重点阐述。重点探讨了多源海量数据可视化与三维孪生技术的结合,并以电网、海洋、气象等领域为例,分析了三维孪生技术在多源海量数据可视化中的应用和实例。最后,对未来的发展趋势、存在的问题和挑战等进行了展望。

基于可视化技术的海量数据安全特征提取算法

由于传统算法在海量数据安全特征提取中应用效果不佳,不仅提取误差比较大,而且提取时间比较长,无法达到预期的特征提取效果,提出基于可视化技术的海量数据安全特征提取算法。在网络日志记录集中拾取与数据提取源相关的海量数据,利用聚类分析法对海量数据进行聚类分析,以数据的可靠性对海量数据安全特征进行识别,利用可视化技术对安全特征进行统计提取,以此完成基于可视化技术的海量数据安全特征提取。实验证明,设计方法数据安全特征提取误差小于1%,提取时间在1s以内,可以有效保证海量数据安全特征提取精度和速度。

新技术为海量数据存储提供“超级光盘”

据报道,近日,中国科学院上海光学精密机械研究所(以下简称“上海光机所”)阮昊研究员团队和上海理工大学顾敏院士等科研人员,利用国际首创的双光束调控聚集诱导发光超分辨光存储技术,突破了信息写入和读出的衍射极限限制。该研究为大数据存储提供了绿色、长寿命的解决方案,相关成果于2024年2月22日发表在《自然》上。科研人员利用双光束光存储技术突破光学衍射极限的限制,首次证实可以在三维空间实现多至百层、超分辨尺寸下的信息点的写入和读出。这项新技术可以让单张盘容量高达Pb级,相当于至少10000张蓝光光盘的容量。

综采工作面海量数据挖掘分析平台设计

当前综采工作面海量数据采集的实时性和完整性差、异常数据清洗耗时大、数据挖掘时延大,导致综采数据利用率低,无法辅助管理层实时下发决策指令。针对上述问题,设计了一种综采工作面海量数据挖掘分析平台。该平台由数据源层、数据采集存储层、数据挖掘层和前端应用层组成。数据源层由工作面各类硬件设备提供原始数据;数据采集存储层使用OPC UA网关实时采集井下传感器监测信息,再通过MQTT协议和RESTful接口将数据存入InfluxDB存储引擎;数据挖掘层利用Hive数据引擎和Yarn资源管理器筛选数据采集过程中受工作现场干扰形成的异常数据,解决因网络延时导致的数据局部采集顺序紊乱问题,并利用Spark分布式挖掘引擎挖掘工作面设备群海量工况数据的潜在价值,提高数据挖掘模型的运行速度;前端应用层利用可视化组件与后端数据库关联,再通过AJAX技术与后端数据实时交互,实现模型挖掘结果和各类监测数据的可视化展示。测试结果表明,该平台能够充分保证数据采集的实时性与完整性,清洗效率较单机MySQL查询引擎提升5倍,挖掘效率较单机Python挖掘引擎提升4倍。

基于云计算技术的分布式网络海量数据处理系统构建

随着我国互联网用户群体的不断扩大,提升数据的挖掘、分析以及应用能力是未来互联网技术发展的重要方向之一,特别是经济社会的发展导致人们对数据处理的需求越来越高,现有的海量网络数据处理系统方案已经不能满足人们的需求。因此,探索将云计算技术应用于分布式网络海量数据处理系统的构建中,能充分发挥云计算技术与分布式网络的优势,从而提高海量数据的处理效率。

基于Redis与WebSocket的图书馆海量数据推送系统设计与实现

为了更好地向图书馆读者推送图书馆的各种纷繁复杂的业务信息,图书馆需要一个推送到达率高、并发性强、安全性有保障的海量数据推送系统,设计了基于Redis与WebSocket的图书馆海量数据推送系统,用来实现向读者推送图书馆海量业务数据,让读者更好地了解图书馆最新通知和最新信息,推动图书馆的服务向前发展。

北京三号B卫星海量数据传输处理系统设计与实现

海量数据传输与处理技术是高分辨率遥感卫星系统的关键技术,北京三号B卫星作为高分辨率光学遥感卫星其图像传输速率高达几十吉比特每秒,因此设计了一种基于万兆网接口与高速串行收发器GTX/GTH接口的数据传输与处理系统。该系统使用万兆网接口接收前端相机载荷数据,使用GTX/GTH接口实现产品内数据互联,并基于超大规模现场可编程门阵列(FPGA)作为核心处理芯片实现海量数据路由分发、编解码和处理。测试结果表明:可实现36.04 Gbit/s数据接收和60 Gbit/s数据传输处理能力,并具有可靠性高、系统延时小、通用性强的优点。与传统数传方案相比,系统数据处理能力提高了一倍以上,且显著降低了硬件成本。

基于海量数据分析的电力工程动态智能监控技术研究

针对电网公司对电力工程监控要求日益提高的现状,文中开展了大数据分析技术在电力工程智能监控中的应用研究。所构建的监控指标体系涵盖了进度、成本及质量共三个方面,并提出了基于标度法(SM)与先验(Apriori)算法的电力工程动态智能监控算法。利用标度法筛选出对电力工程存在重要影响的监控指标,同时采用先验算法实现不同指标间关联规则的挖掘,根据强关联规则构造有向网络模型。通过将现有电力工程数据输入至该模型中,便可对电力工程的动态进行智能监控。仿真算例结果表明,文中构建的监控指标体系完整、全面,且所设计算法能够实现对电力工程项目偏差风险的识别。

基于一致性哈希算法的分布式机电系统海量数据存储策略研究

针对分布式机电系统远程全寿命周期运行监测庞大的海量数据分布式存储与管理的负载不均衡问题,提出一种基于权值比例分配各主机节点数量的分布式存储策略。分析分布式机电系统远程监测平台的数据流结构及其数据特征,建立基于一致性哈希算法的机电液数据的哈希环信息映射,同时引入虚拟节点解决哈希偏移问题。考虑各主机性能差异,基于权值分配虚拟节点,实现负载的自适应,并建立了虚拟节点的动态分配机制。试验结果表明:该存储策略具有良好的负载均衡性,较平均分配各主机节点数量的一致性哈希动态分配存储策略效果更好,能有效减少动态分配次数,使系统快速进入正常运行状态,实现数据的高效存储。

基于海量数据重构的大型水轮发电机高频局部放电测试方法

我国局放测试设备主要采用低频技术,应用于大型水轮发电机存在测试数据波动性较大和局放识别困难等问题,而适用于大型水轮发电机的高频局放试验平台处于长期缺失状态。为此,该文基于海量数据分步处理架构搭建高频局放硬件平台,提出一种全新的局放特征信号重构算法,通过时域特征进行有效脉冲划分,完整提取出局放特征信息,同时大幅度削减数据量。根据该文所提方法开发一套高频局放测试系统,与传统局放仪进行对比实验分析。水轮发电机老化线棒实验室测试验证该文所提方法的有效性和优越性,局放测试波动值为4.8%,远低于传统局放仪的57.3%。真机试验中检测出一例典型绝缘缺陷,工程应用效果显著,具有一定的推广应用价值。

海量数据存储中云服务器性能加速方法仿真

用户将海量数据存储于云服务器以节省本地存储空间,但是由于云数据的种类复杂、数据量庞大,严重影响了云服务器整体存储的速度。基于此,提出考虑海量数据存储的云服务器性能加速方法。基于小波分析理论,对海量存储数据小波包分解处理,消除噪声数据。构建数据存储结构模型,提取关键信息特征。应用卷积神经网络,设计CNN云服务器加速存储模型,实现云服务器性能加速。实验结果表明,上述方法的吞吐量指标在95%-100%之间,CPU利用率在85%以上,可准确预测云服务器负载,实验所得数据验证了所提方法的可靠性高、应用有效性更强。