基于密度划分的分布式数据容错存储算法研究

为保证数据安全性,缓解数据存储空间,提出基于密度划分的分布式数据容错存储算法。过滤分布式数据高密度数据区域,将具有高度相似的目标划分到不同区域,通过数据来源样本点描述数据的密度分布,设定数据弹性,利用概率以及数据粒度推算出对应的存储梯度和强度指数,并在信息存储中引入数据存储梯度和数据弹性,完成分布式数据容错存储。实验证明,所提算法有较高的容错性,带宽吞吐量平稳,平均路径长度较小,能提高网络数据的安全性。

地震数据分布式存储系统建设模式与服务效能研究

我国地震监测系统历经了数字化、网络化和自动化的变革。随着地震监测站网规模的不断扩大,作为国家数据中心,中国地震台网中心面临数万地震台站观测数据处理和存储压力。本文基于前期国家地震烈度速报与预警工程、公共安全信息化工程(中国地震局)建设项目等建设经验,总结地震数据分布式存储系统的建设模式,并验证其合理性。同时以历史数据迁移归档业务为例,分析共享存储系统的服务效能,为海量观测数据的高效存储管理、共享数据存储系统建设提供参考。

基于数据库标签感知分片的制造过程测量数据分布式存储

针对零件在线测量过程中多种测量仪器无法协同存储、仪器内数据查询聚合困难等问题,对多工序测量仪器集群的数据分布式存储和共享方法进行了研究。首先,在多个嵌入式测量仪器中,移植非关系型数据库集群对零件数据进行了分布式存储,简化了零件数据存储模型;然后,引入标签感知分片(tag-aware sharding),实现了零件不同工序测量数据的分类存储目的;最后,使用多个搭载嵌入式Linux系统的树莓派3B+开发板作为测量仪器系统平台,搭建了基于MongoDB数据库的在线测量分布式存储集群,通过大量测试数据验证了该集群在多节点存储时数据分布均匀、性能稳定;将存储集群与企业制造执行系统(MES)进行了对接,其可以实时监控分析零件测量数据,快速汇总所有测量节点内的工序数据并生成报表。研究结果表明:当集群中数据量达到7.2×10^(5)条时,单节点查询响应速度稳定在125 ms~208 ms范围内,相比哈希分片,其最高提升了88.15%;多节点协同查询响应速度为1308 ms,相比“升序键+搜索键”方案,其提升了了61.64%;多个测量节点内,1×10^(5)个零件数据聚合统计仅需5 s左右。该存储集群可以监控零件生产情况,在减少零件制造误差、提高制造效率和质量方面具有重要作用。

基于大数据的分布式文件存储系统架构设计

针对目前数据量庞大对文件存储的需求激增,本文研究基于大数据的分布式文件存储系统(Hadoop distributed file system,HDFS)架构设计。通过分析HDFS架构的基本原理,讨论数据分布策略、数据备份与恢复机制以及一致性与性能优化的方法,提出针对名称节点和数据节点的改进措施,包括在名称节点中引入高速闪存驱动器以管理元数据,并在数据节点中实施元数据缓存机制。研究结果表明:分布式文件存储系统可以优化元数据管理,减少网络成本,并提高系统性能,对改善大数据存储系统的性能具有重要作用。

面向无人飞行器集群协同的分布式存储技术研究

近年来,随着无人飞行器集群在各个领域的广泛应用,集群上所搭载的算法也越来越复杂,这对数据存储系统提出了更高的要求。现有研究没有考虑无人飞行器集群运行环境的特殊性,无法适应战场上通信间歇弱连接和节点易战损的环境。因此本文基于分布式存储技术设计了一套面向无人飞行器集群协同的分布式存储方案,通过动态自适应存储策略选择存储节点,提升了存储速度和资源的利用效率;同时,本文设计了基于RS码的数据备份与恢复方案,采用客户端与存储节点的交互模式降低了数据备份对于通信资源的占用,并且能够在多节点同时战损时恢复损失数据,提升了数据存储系统的稳定性和可靠性。

分布式存储中基于动态局部修复码的负载均衡研究

分布式存储系统中数据的访问存在不均衡性,大多数访问聚集在少部分数据上,便会引起系统的负载不均衡,导致部分高负载节点成为整个系统的性能瓶颈。针对此问题提出一种负载均衡的动态局部修复码(ALRC),该编码方案通过历史热度对冷热数据进行优先级确立,再对冷热数据进行动态编码,使其具备(r,t)-availability性质,让数据能够拥有额外的访问路径,借此提高热数据的并行访问性能和系统的负载均衡性,同时兼顾一定的存储效率。实验结果表明,ALRC在系统负载较不均衡时只需要相较于编码前少量的额外存储开销,便可拥有相较于原方案53%以上负载均衡度的提升,从而确保节点间的负载分布均匀,提高整个系统的性能和可靠性。

S-E-MBR:一种基于E-MBR码的分布式存储系统扩容方法

随着数据量的激增,以再生码为容错机制的分布式存储系统需要使用扩容技术扩充其存储容量。然而现有再生码扩容方法较少,在扩容时间与传输量方面有待提高。为此,针对在线分布式存储场景提出一种扩容方法 S-EMBR,以更高效的迁移方式降低迁移的数据块数量和I/O开销,减少校验更新时所需数据块,使其达到了理论数据块迁移量最优值。理论分析与实验结果表明,与RR与Scale-RS方法相比,S-E-MBR方法扩容时的数据传输量分别减少了52.7%~77.9%和41.3%~50.4%,扩容总时间分别减少了72.3%~75.4%和50.6%~53.5%,响应速度分别提升了39.2%和17.1%,可满足在线扩容场景需求。

一种可信的分布式异构存储系统

随着待存储数据量的不断增加及存储数据类型的多样化,传统集中式存储系统往往面临容量不足、扩展性差和数据被破坏等多重挑战。因此,分布式存储系统已成为目前主流的存储方式,但是用户在将数据上传到云存储系统后,便会失去对数据的控制权。此外,云存储运营商并不完全可信,它们可能会窃取、删除、修改用户存储的数据,导致云端数据不可信。为了解决上述问题,结合远程数据持有算法及区块链技术,提出了一种新的分布式存储系统,结合区块链不可篡改特性及第三方可信服务器协作验证的方式来保证云端数据的完整性和可信性。实验结果显示,新系统在上传及下载文件时,具有较高的执行效率。

基于分布式区块链的医用影像数据存储与传输策略

为解决医疗机构影像数据的安全加密存储与传输问题,文中提出了一种基于分布式区块链的安全存储与传输策略。该策略分别对患者、医疗机构和云存储服务商进行建模,采用改进BLS签名技术对影像数据进行加密存储,并通过密钥协商协议实现了患者和医疗机构的安全密钥交换。同时,所提策略还融入了Lucene检索机制,从而提高了影像数据的调阅速度。在某医疗影像云上进行的实验结果显示,所提方案的加解密时间较短,而且能够抵御篡改攻击、中间攻击和共谋攻击,综合结果均优于现有的加密存储模型。

基于Ceph的分布式存储系统跨机架修复技术分析

详细介绍了Ceph分布式存储系统的应用性质与层次结构,通过专业的研究与分析,将该类存储系统引入跨机架修复工作中,与修复技术充分融合。实践运用过程包括设计分级解码算法、优化纠删码、修复系统数据、验证试验方案和明确跨机架数据量等,在Ceph分布式存储系统的持续影响下,高效完成跨机架修复工作,确保各类机架使用质量。

基于随机森林的电网GIS数据分布式存储方法

内部电网地理信息系统(Geographic Information Systern,GIS)数据体量增加,对电网数据存储性能造成了极大的困难,为此,提出一种基于随机森林的电网GIS数据分布式存储方法。以跨域资源共享(Cross-Origin Resource Sharing,CORS)技术在电网GIS空间信息服务平台中获取的电网GIS数据为基础,根据类区分度数值选择电网GIS数据特征,引入随机森林算法分类处理电网GIS数据,将其合理分发给不同的服务器,采用并行处理手段存储分类数据,从而实现了电网GIS数据的分布式存储。实验数据显示:应用所提方法后,电网GIS数据分类精度达到了96.8%,电网GIS数据分布式存储时间最小值为5.2 s,充分证实了所提方法数据存储性能更佳。

分布式存储技术在数字化档案管理中的应用

文章探讨了分布式存储技术在数字化档案管理中的应用。首先,对集中式和分布式档案管理进展开对比,指出了分布式档案管理的优势和挑战。其次,分析了数字化档案管理面临的主要问题与挑战。最后,详细介绍了分布式存储技术在数字化档案管理中的具体应用,包括数据冗余备份与容错性、高可用性和负载均衡、扩展性和弹性存储、安全性和权限控制、数据去重和压缩以及数据一致性和版本管理等方面。这些技术应用有效提升了数字化档案管理系统的稳定性、安全性和效率,为用户提供了更好的档案管理服务。

分布式云存储的设备装架与数据部署方法

本文分析了分布式云存储的设备装架现状,指出目前装架的不足之处,然后根据分布式云存储的数据冗余存储特征,给出了一种分布式云存储服务器设备装架方法。该方法从设备安装上架开始就考虑冗余副本数据在机架间的均匀分布,确保分布式存储机架级的高可用,并给出了该装架方式下的数据部署方式建议,解决了分布式云存储机架级数据的高可用问题,使得数据均匀分布,提高了数据存取效率。

分布式存储模式下的数据错误检测方法综述

数据错误检测是数据质量保证的重要环节,直接关系到数据全生命周期分析结果的可信度。随着云边端数据中心架构应用领域及范围的逐渐扩大,以及网络节点存储计算能力的提升,数据分布式本地存储日益普遍,传统数据集中式存储模式下的数据错误检测方法难以适应数据分布式存储模式。基于此,开展分布式存储模式下的数据错误检测方法综述,在数据错误检测问题描述与分类基础上,从技术原理、模型方法、主要进展等角度,对基于传统分布式学习的数据错误检测方法、基于联邦学习框架的数据错误检测方法进行总结分析,比较了二者之间的区别及联系,并展望提出领域相关潜在研究机会及关注问题,为开展分布式存储模式下的数据错误检测及相关研究提供借鉴和参考。

基于电网分布式存储构建业务分析模型的探索和研究

由于电网大数据分散存储在不同的独立存储服务中,难以保证文档检索全面性和准确性,影响查询业务质量。为此,构建基于电网分布式存储的业务分析模型。切分待存储文件,组成文件碎片,分布存储到不同的存储节点中,构建电网分布式存储模型。针对该模型,扩展查询业务关键词,增大查询范围。基于查询业务扩展结果,构建业务探索分析模型,从分布式数据库中检索相关文档。实验结果表明:所构建模型的各类电网大数据检索F1值接近1,提高了电网分布式存储文档检索的全面性和准确性。

基于云平台的企业远程办公文件分布式存储方法

为提高数据的读写性能,设计基于云平台的企业远程办公文件分布式存储方法。总体架构由计算层、数据接入层、存储层、数据聚集层构成。存储层由Hadoop集群构成,各集群由NameNode管理;计算层与数据接入层可以实现数据的持久化存储;数据聚集层采用一致性多副本哈希存储算法作为数据聚集算法。通过搭建虚拟化云平台统一管理多个服务器,创建主机虚拟集群。设计文件加解密过滤器进行数据加解密。设计随机化数据冗余算法进行数据冗余。测试结果表明设计方法的集群负载情况良好,读、写带宽最高达到3798 bps和3912 bps,读、写速率最高达到3298字节/s和3258字节/s。

调控云架构下的长短期电网运维行为大数据防泄露分布式存储仿真

为了实现大数据安全体系,对边界安全、访问控制和授权、数据保护、审计和监控提供支持,增强大数据存储的稳定性与安全性,提出调控云架构下的长短期电网运维行为大数据防泄露分布式存储仿真。构建长短期电网运维行为大数据防泄露分布式存储的调控云架构,采用网格技术构建大数据的分布式存储结构,对网格信息进行分级与调度,通过分类并处理冗余数据降低冗余数据对分布式存储的影响,并采用密度演化结合数据特征压缩的存储方法,实现长短期电网运维行为的数据分布式存储;调控云架构的云安全加密部分通过调控云架构初始化、密钥产生、明文信息加密、密文分布式存储,防止分布式存储大数据泄露。实验结果表明:该方法存储性能好,数据上传速度快,存储过程稳定,能够保证存储数据安全性及计算机系统负载均衡。

浅析集中式存储与分布式存储在医疗应用中的优劣

医院信息集成平台是医疗行业信息化建设的重点,底层存储架构平台是其中的重要一环。市场上的存储架构主要有集中式和分布式两种技术路线。其中集中式存储具有较好的稳定性、可靠性、数据服务丰富、IO路径短和延迟小等优点,但也存在扩展性有限、硬件成本高等不足。而分布式存储则具有更好的可扩展性、适合海量的数据存储、性能随集群规模线性增长、支持高并发访问、且采用标准硬件和成本低廉等优点,但也存在IO路径较长、延迟较长等不足。本文针对集中式和分布式的存储架构进行对比分析,阐明两者在医疗应用中的优劣与选择。

基于开源Ceph的自研分布式存储架构及关键技术分析

随着大数据、云计算、物联网技术以及短视频直播技术的迅速发展,传统的集中式存储系统存在数据规模有限、存储和处理能力瓶颈、单点故障等问题,已经难以满足现阶段的业务需求。基于此,本文从非结构化数据增长、容器化技术发展、异地多活灾备等业务需求对存储技术的新要求进行分析,总结了自研存储待解决的三个问题,即技术选型、技术路线、架构设计,探究了自研存储部署架构、多集群管理、小文件合并等关键技术问题,并提出相应的解决思路。

基于大数据技术的非关系型数据库分布式存储方法研究

在当今信息时代,数据的复杂性不断增加,传统的关系型数据库在大规模数据存储和处理方面面临着挑战。非关系型数据库(Not Only SQL,NoSQL)作为一种新的存储和处理数据的方法,受到了广泛关注,并在分布式存储领域取得了显著的成就。文章重点探讨基于大数据技术的非关系型数据库分布式存储方法,并通过实验进行评估,发现其在可扩展性和安全性方面具有优势,可以为相关研究提供参考。