海量数据的分布式主成分分析算法及其在共同富裕测度中的应用

基于两轮型方法的分布式PCA算法(TR-DPCA),每台局部机器计算出和向量,并将它们传输到中央机器计算全样本数据的均值向量,再将它们传输给每台局部机器;然后,每台局部机器计算出散度矩阵,并将它们传输到中央机器计算全样本数据的协方差矩阵;最后根据协方差矩阵进行特征分解获得特征向量。通过数值模拟发现,TR-DPCA算法的表现与全样本PCA一致,且优于基于单轮型方法的分布式PCA算法。此外,将TR-DPCA算法应用到中国共同富裕测度中发现,中国的共同富裕水平呈现上升趋势,且个体差距在不断缩小。

基于关联规则的物联网海量数据分析系统研究

物联网设备产生的数据量庞大且复杂,如何有效地管理和分析这些数据是重要问题。文章基于已有的数据挖掘方法,提出了一种关联规则的网络检索算法,设计了一个物联网海量数据分析系统,并对该系统进行了性能测试与研究。测试结果表明,随着数据规模的增大,数据处理时间也相应增加,呈近似线性关系。在海量数据分析系统中,处理更大规模的数据会导致较长的处理时间,即数据处理时间与数据规模成正比关系。通过满足用户需求、提高系统性能以及降低成本费用,该算法能够有效地利用资源。

基于果蝇算法的医院电子档案海量数据快速查询方法

由于我国医院电子档案数据量每日呈爆炸式增长,导致数据查询方法难以准确且快速查询海量电子档案数据,文章提出基于果蝇算法的医院电子档案海量数据快速查询方法。对原始医院电子档案海量数据进行清洗、压缩等预处理操作,利用果蝇算法搜索预处理后的电子档案数据,获取数据查询位置的最优解,实现医院电子档案海量数据快速查询。实验结果表明,设计方法查询医院电子档案海量数据时查询代价消耗比仅2.61,具有优越的查询效率和扩展性。

基于改进CS算法的移动网络海量数据低能耗传输方法

移动网络数据传输过程未考虑数据间相关性,导致数据传输能耗大,对此文章提出了基于改进CS算法的移动网络海量数据低能耗传输方法。文章分析移动网络海量数据传输能耗,引入混沌扰动系数改进CS算法。在此基础上选取改进CS的双簇头,解决传统方法数据传输路径长的问题,设计静态、动态传输队列低能耗传输模式。由实验结果可知,该方法数据传输完整,不同工作模式下,使用基于改进CS算法最高耗能为2 J,耗能较低,该方法将指导移动网络在工业应用中的实现。

基于CNN算法的海量数据库相似数据融合方法

海量语料数据库由于融合质量指数低,应用效果不佳。因此,提出基于CNN算法的海量数据库相似数据融合方法(CNN-MDSF)。深入分析海量数据库数据类型与检索性能,应用Word2vec算法提取在线海量数据库数据特征,结合核函数度量数据之间的相似性,改进卷积神经网络,构建相似数据融合模型,训练相似数据融合模型,分解相似数据集合,实现海量数据库相似数据融合。实验数据表明,CNN-MDSF的最高度量精度为95.00%,最高熵值为19,融合质量指数更接近于1,充分证实了CNN-MDSF的应用效果更佳。

海量数据环境下的层次聚类及并行化方法研究

文中研究了海量数据环境下层次聚类及并行化方法。通过扩充模糊度,可以解决海量数据集中存在的信息失真问题。通过最小化加权距离来进行聚类,能在合并过程中不增加数据对象的模糊度。对数据进行分区,并计算各区域的最近邻边界。应用最近邻边界对聚类算法进行改进,使用并行分布式计算框架来加速层次聚类,对相似度较高的数据进行合并,以提升聚类效果。实验结果表明,实验组的流量收敛曲线呈现出较高的趋势,网络流量达到60000 bit;实验组的网络延迟保持在70sec以下。通过并行处理,可以更有效地利用计算资源,减少等待时间和延迟,达到良好的应用效果。

能源工业互联网海量数据采集方法研究

为解决能源工业互联网海量多源异构数据采集并发数量低、采集速度慢的问题,提出了一种能源工业互联网海量数据采集方法。首先,计及各类能源工业设备的数据结构、采集频次和采集策略等因素,设计可扩展的多源异构数据采集架构;其次,建立能源工业互联网采集控制策略,采用多时间尺度控制方法,实现多源异构能源数据的高速采集;在此基础上,对能源工业互联网采集数据进行质量评估;最后,在某城市应用所提方法,其采集准确率约为99.9%。结果表明:所提方法可实现多源异构能源数据协同采集,提高能源工业互联网的采集效率与准确性。

云环境下海量数据组织与资源共享的存储模型研究

为满足海量数据在云环境中的存储与处理需求,并对其进行监控和维护,研究设计并实现一种云环境下海量数据组织与资源共享的存储模型。在研究过程中,设计云环境下海量数据组织与资源共享的存储模型,建立契合海量数据资源存储的分布式存储架构。根据模型架构需求,将模型划分为基础设施服务层、数据资源服务层、业务管理层与云应用服务层,明显解决数据写入不一致问题,具有良好的扩展性、可行性、稳定性与可靠性。

基于海量数据内外网交互联络的审计策略分析

阐述基于海量数据中内外网交互联络的审计问题及原因,提出一套综合审计方法,通过分析内外网交互数据,揭示潜在的安全隐患和风险,以帮助组织建立强大的内外网交互联络审计机制。

基于果蝇算法的数字化档案海量数据自动检索方法

常规的档案数据检索方法往往只能锁定大致位置范围,导致检索代价消耗较高。针对这一问题,本研究设计一种基于果蝇算法的数字化档案海量数据自动检索方法。首先,针对数据属性合理划分区间,将划分结果作为数据检索的提取条件。然后,利用果蝇算法建立智能搜索机制,精确确定检索范围。最后,针对检索范围,构建一个高效、自动的检索模型。该模型能迅速锁定目标数据,实现对数字化档案海量数据的自动检索。实验结果表明,应用该方法后,检索代价消耗比的平均值为2.45,检索代价消耗明显低于传统方法。这一结果说明,在面对大规模数据时,该方法能在保证检索质量的同时,实现更高的检索效率。

基于区块链的海量数据精准加密算法

海量数据加密的过程中需要进行大量的计算操作,而算法的复杂性会增加数据处理的时间,降低数据加密的性能。为此,使用复合混沌序列对海量数据进行敏感特征提取,以提取到的敏感特征为依据,通过逐步进位加法器,基于区块链对数据进行三进制的简洁编码,将编码后的数据作为加密的基础数据,对数据进行分割,并建立数据加密模型,实现对海量数据的精准加密。实验结果表明,设计的算法对不同大小数据的加密时间均小于4 s,说明设计算法效率较高,具有较好的应用价值,可以对数据进行快速精准加密。

基于多源海量数据可视化三维孪生技术的研究与应用

随着数字化时代的发展,当今社会生产和存储的数据量呈爆炸式增长,这些数据涵盖了多个领域、多个来源、多个维度,如何有效地从这些数据中获取有价值的信息和知识,成为一项挑战性的任务。本文介绍了基于多源海量数据可视化和三维孪生技术的研究与应用。其中,多源数据的获取和整合、数据预处理和清洗、数据可视化技术和方法等方面得到了重点阐述。重点探讨了多源海量数据可视化与三维孪生技术的结合,并以电网、海洋、气象等领域为例,分析了三维孪生技术在多源海量数据可视化中的应用和实例。最后,对未来的发展趋势、存在的问题和挑战等进行了展望。

基于可视化技术的海量数据安全特征提取算法

由于传统算法在海量数据安全特征提取中应用效果不佳,不仅提取误差比较大,而且提取时间比较长,无法达到预期的特征提取效果,提出基于可视化技术的海量数据安全特征提取算法。在网络日志记录集中拾取与数据提取源相关的海量数据,利用聚类分析法对海量数据进行聚类分析,以数据的可靠性对海量数据安全特征进行识别,利用可视化技术对安全特征进行统计提取,以此完成基于可视化技术的海量数据安全特征提取。实验证明,设计方法数据安全特征提取误差小于1%,提取时间在1s以内,可以有效保证海量数据安全特征提取精度和速度。

海量数据背景下数智设备的通信安全预警

为了保障数智设备的正常运转,针对预警效率较低以及预警效果较差的问题,研究了海量数据背景下数智设备的通信安全预警。传统方法(如支持向量机)未对通信故障信号进行估计,致使通信安全预警的精确度较低。因此,提出基于小波包跳频估计的数智设备的通信安全预警方法。构建数智设备通信危险信号的采集模型,对通信故障信号展开分解滤波处理,并对滤波处理后的通信数据进行模态分解,最后对分解后的通信故障信号特征进行估计,完成数智设备的通信安全预警。由实验对比结果得知,应用所提方法能提升通信安全预警的精度与灵敏度,确保数智设备的安全稳定运行。

新技术为海量数据存储提供“超级光盘”

据报道,近日,中国科学院上海光学精密机械研究所(以下简称“上海光机所”)阮昊研究员团队和上海理工大学顾敏院士等科研人员,利用国际首创的双光束调控聚集诱导发光超分辨光存储技术,突破了信息写入和读出的衍射极限限制。该研究为大数据存储提供了绿色、长寿命的解决方案,相关成果于2024年2月22日发表在《自然》上。科研人员利用双光束光存储技术突破光学衍射极限的限制,首次证实可以在三维空间实现多至百层、超分辨尺寸下的信息点的写入和读出。这项新技术可以让单张盘容量高达Pb级,相当于至少10000张蓝光光盘的容量。

经济、安全的海量数据生命周期管理方案

介绍了一种海量数据生命周期管理的解决方案。该方案采用三级存储架构,以数据库与文件相结合的方式存储数据。该方案自主管理数据备份、数据恢复、数据迁移、介质检查、介质修复等任务,并将生命周期管理的压力从服务器分解到工作站,使硬件配置更灵活。该方案节省了开发成本,提高了数据的安全性。该方案正应用于某军工项目,性能稳定运行良好。详细介绍了自主管理过程的设计与实现。

基于Map-Reduce的海量数据高效Skyline查询处理

Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文既是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性.

海量数据分析的One-size-fits-all OLAP技术

传统的OLAP被迅速膨胀的海量数据推动进入了大规模数据分析时代,其主要特点是存储密度大,计算强度大,需要大规模并行存储和处理能力.无论是传统的并行数据库技术还是热点的MapReduce技术都不得不面对海量数据在大规模并行处理环境下的性能和并行处理效率的问题.以星型模型上复杂多表连接为基础的OLAP算法的复杂度和并行处理过程中的数据网络传输代价都成为制约性能的重要因素.通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术.通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性.提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价.实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率.

基于格网划分的海量数据Delaunay三角剖分

提出基于格网划分、面向海量数据的Delaunay三角剖分方法,它首先把数据集划分为若干格网块,按照格网划分的逆序对每个格网块采用基于自适应格网划分的分割 合并算法进行Delaunay三角剖分,把格网块Delaunay三角网中不受边界影响的三角形进行存储并释放内存,然后顺序合并相邻格网块Delaunay三角网,形成全局或类全局Delaunay三角网。该方法对计算机硬件配置要求较低,适合于并行处理,可以实现面向海量数据的Delaunay三角剖分。

基于Hadoop的高性能海量数据处理平台研究

海量数据高性能计算蕴藏着巨大的应用价值,但是目前云计算体系只具有海量数据处理能力,而不具有足够的高性能计算能力。将具有超强并行计算能力的GPU与云计算相融合,提出了基于CPU/GPU协同的异构高性能云计算体系结构。以开源Hadoop为基础,采用注释码的形式对MapReduce函数中需要并行的部分进行标记。通过定制GPU类加载器,将被标记代码转换为CUDA代码并动态编译运行。该平台将GPU的计算能力融合到MapRe-duce框架中,可高效处理海量数据。