基于机群环境的并行多连接存储分布技术

基于机群系统的数据存储分布是并行数据库领域的一个重要问题。已有的研究工作多集中在基于单个关系的存储分布,不能有效支持复杂多连接查询处理。文章提出了多个关系整体分布方法,给出分布属性选择和处理机分配算法。实验结果表明,算法具有良好的性能,有助于提高并行多连接查询效率。

一种基于文件存储分布的隐蔽信道构造方法

针对现有的长度式隐蔽信道在信道熵和长度分布特征中与合法信道有差异的问题,提出一种基于隐蔽信息存储分布的隐蔽信道构造方法。将不同编码方式下的隐蔽信息转换为二进制比特流,研究比特流中作为隐蔽信息的比特或者比特串的分布概率。分析该概率对传统长度式隐蔽信道的影响,将概率分布统计应用到长度式隐蔽信道的模型构建中,并实现信道熵和长度分布检测。实验结果表明,与传统参考长度隐蔽信道相比,提出方法具有更好的隐蔽性。

有限存储分布式社交网络中数据的动态划分和复制

社交网络的庞大数据需求分布式存储,多个用户的数据分散存储在各个存储和计算节点上可以保持并行性和冗余性。如何在有限的分布式存储空间内高性能存储和访问用户数据具有现实意义。在当前的社交网络系统中,用户数据之间的读写操作会导致大量跨存储节点的远程访问。减少节点间的远程访问可以降低网络负载和访问延迟,提高用户体验。提出一种基于用户交互行为的动态划分复制算法,利用用户之间的朋友关系和评论行为描述社交网络的结构,周期性划分复制用户数据,从而提高本地访问率,降低网络负载。通过真实数据集验证,该算法相比随机划分和复制算法能够大大提升本地访问率,降低访问延迟。

基于大数据的分布式文件存储系统架构设计

针对目前数据量庞大对文件存储的需求激增,本文研究基于大数据的分布式文件存储系统(Hadoop distributed file system,HDFS)架构设计。通过分析HDFS架构的基本原理,讨论数据分布策略、数据备份与恢复机制以及一致性与性能优化的方法,提出针对名称节点和数据节点的改进措施,包括在名称节点中引入高速闪存驱动器以管理元数据,并在数据节点中实施元数据缓存机制。研究结果表明:分布式文件存储系统可以优化元数据管理,减少网络成本,并提高系统性能,对改善大数据存储系统的性能具有重要作用。

移动分布式存储系统中自适应数据布局策略

分布式存储系统在移动网络场景中正受到越来越多的关注,作为其关键技术,数据布局对于提高数据分布式存储的成功率至关重要.然而,移动环境下无线信号不稳定,网络带宽波动大,传统的数据布局策略,如随机策略和存储容量感知策略,在数据布局时并未考虑节点的网络带宽,导致数据传输成功率低.面向高动态移动网络环境,针对移动分布式存储系统面临的数据布局问题,提出一种带宽感知的自适应数据布局策略.其基本思想是将网络带宽和节点上的其他信息结合,从而选择性能良好的节点,实现自适应数据布局,提高数据传输成功率.所提策略包含3个设计要点:(1)采用群组移动模型感知节点的网络带宽;(2)分组管理节点信息,减少通信开销,并利用小根堆的特性构建节点选择树;(3)自适应数据布局根据节点可用性动态选择性能良好的节点,提高数据传输成功率.实验结果表明:当网络动态变化时,所提策略的数据传输成功率相较于随机策略和存储容量感知策略分别提升30.6%,34.6%,并始终将通信开销维持在较低的水平.

地震数据分布式存储系统建设模式与服务效能研究

我国地震监测系统历经了数字化、网络化和自动化的变革。随着地震监测站网规模的不断扩大,作为国家数据中心,中国地震台网中心面临数万地震台站观测数据处理和存储压力。本文基于前期国家地震烈度速报与预警工程、公共安全信息化工程(中国地震局)建设项目等建设经验,总结地震数据分布式存储系统的建设模式,并验证其合理性。同时以历史数据迁移归档业务为例,分析共享存储系统的服务效能,为海量观测数据的高效存储管理、共享数据存储系统建设提供参考。

面向战场条件的无人机集群分布式存储方法

无人机是世界军事强国执行战术行动的重要武器装备,利用无人机实现战场数据存储是保障作战的重要手段.为更好地满足无人机集群在恶劣战场条件下数据存储需求,在分析无人机数据存储军事应用背景基础上,总结战场无人机数据资源特征和数据存储技术军事需求,并提出适用于我军无人机战术行动的数据存储设计方法流程;结合学术和产业界的成果,梳理数据存储技术的分类和发展历程,并总结数据存储的主要类型;提出面向无人集群战术行动场景的分布式数据存储关键技术方法和存储系统;介绍国内外学者在分布式存储海量数据处理、数据实时传输和数据可靠性等相关算法模型的研究现状;展望未来战术行动中无人机数据运用方法的研究趋势,强调在战场条件下无人机集群数据存储是未来重要的研究领域.

基于Raft共识协议的分布式键值对存储系统研究与实现

针对工业物联网、大数据等领域对分布式数据存储基础设施提出的高性能、高可用性和高可靠性需求,简要回顾和分析了分布式共识协议的相关理论与关键技术,研究了具有高性能、高可用性和高可靠性的分布式键值对存储系统,并设计开发了基于Raft共识协议和LevelDB的分布式键值对存储系统。最后,测试了该系统的功能和性能指标。实验结果表明,该系统具有高稳定性、高可用性和良好的性能。

基于电网分布式存储构建业务分析模型的探索和研究

由于电网大数据分散存储在不同的独立存储服务中,难以保证文档检索全面性和准确性,影响查询业务质量。为此,构建基于电网分布式存储的业务分析模型。切分待存储文件,组成文件碎片,分布存储到不同的存储节点中,构建电网分布式存储模型。针对该模型,扩展查询业务关键词,增大查询范围。基于查询业务扩展结果,构建业务探索分析模型,从分布式数据库中检索相关文档。实验结果表明:所构建模型的各类电网大数据检索F1值接近1,提高了电网分布式存储文档检索的全面性和准确性。

面向无人飞行器集群协同的分布式存储技术研究

近年来,随着无人飞行器集群在各个领域的广泛应用,集群上所搭载的算法也越来越复杂,这对数据存储系统提出了更高的要求。现有研究没有考虑无人飞行器集群运行环境的特殊性,无法适应战场上通信间歇弱连接和节点易战损的环境。因此本文基于分布式存储技术设计了一套面向无人飞行器集群协同的分布式存储方案,通过动态自适应存储策略选择存储节点,提升了存储速度和资源的利用效率;同时,本文设计了基于RS码的数据备份与恢复方案,采用客户端与存储节点的交互模式降低了数据备份对于通信资源的占用,并且能够在多节点同时战损时恢复损失数据,提升了数据存储系统的稳定性和可靠性。

基于云平台的企业远程办公文件分布式存储方法

为提高数据的读写性能,设计基于云平台的企业远程办公文件分布式存储方法。总体架构由计算层、数据接入层、存储层、数据聚集层构成。存储层由Hadoop集群构成,各集群由NameNode管理;计算层与数据接入层可以实现数据的持久化存储;数据聚集层采用一致性多副本哈希存储算法作为数据聚集算法。通过搭建虚拟化云平台统一管理多个服务器,创建主机虚拟集群。设计文件加解密过滤器进行数据加解密。设计随机化数据冗余算法进行数据冗余。测试结果表明设计方法的集群负载情况良好,读、写带宽最高达到3798 bps和3912 bps,读、写速率最高达到3298字节/s和3258字节/s。

基于数据库标签感知分片的制造过程测量数据分布式存储

针对零件在线测量过程中多种测量仪器无法协同存储、仪器内数据查询聚合困难等问题,对多工序测量仪器集群的数据分布式存储和共享方法进行了研究。首先,在多个嵌入式测量仪器中,移植非关系型数据库集群对零件数据进行了分布式存储,简化了零件数据存储模型;然后,引入标签感知分片(tag-aware sharding),实现了零件不同工序测量数据的分类存储目的;最后,使用多个搭载嵌入式Linux系统的树莓派3B+开发板作为测量仪器系统平台,搭建了基于MongoDB数据库的在线测量分布式存储集群,通过大量测试数据验证了该集群在多节点存储时数据分布均匀、性能稳定;将存储集群与企业制造执行系统(MES)进行了对接,其可以实时监控分析零件测量数据,快速汇总所有测量节点内的工序数据并生成报表。研究结果表明:当集群中数据量达到7.2×10^(5)条时,单节点查询响应速度稳定在125 ms~208 ms范围内,相比哈希分片,其最高提升了88.15%;多节点协同查询响应速度为1308 ms,相比“升序键+搜索键”方案,其提升了了61.64%;多个测量节点内,1×10^(5)个零件数据聚合统计仅需5 s左右。该存储集群可以监控零件生产情况,在减少零件制造误差、提高制造效率和质量方面具有重要作用。

一种可信的分布式异构存储系统

随着待存储数据量的不断增加及存储数据类型的多样化,传统集中式存储系统往往面临容量不足、扩展性差和数据被破坏等多重挑战。因此,分布式存储系统已成为目前主流的存储方式,但是用户在将数据上传到云存储系统后,便会失去对数据的控制权。此外,云存储运营商并不完全可信,它们可能会窃取、删除、修改用户存储的数据,导致云端数据不可信。为了解决上述问题,结合远程数据持有算法及区块链技术,提出了一种新的分布式存储系统,结合区块链不可篡改特性及第三方可信服务器协作验证的方式来保证云端数据的完整性和可信性。实验结果显示,新系统在上传及下载文件时,具有较高的执行效率。

基于Ceph存储的数据均衡分布算法

针对Ceph分布式存储系统中可扩展哈希下的受控复制(Controlled Replication Under Scalable Hashing,CRUSH)数据分布算法导致设备间存储数据容量之差达到40%,进而在数据量大、高并发情况下“热点”成为系统性能瓶颈的问题,本文对CRUSH算法进行深入研究,设计并实现了Writing_Balance算法来对数据分布进行性能优化,以达到消除“热点”所导致的负载失衡以及磁盘利用率过高的问题。通过实验发现,Writing_Balance算法可使“热点”的PG数量分布优化率较之前提升4.4%;磁盘利用率稳定性提高了3%左右;并且在较小输入key空间下对于数据整体均衡度优化也有明显的提升。

分布式存储中基于动态局部修复码的负载均衡研究

分布式存储系统中数据的访问存在不均衡性,大多数访问聚集在少部分数据上,便会引起系统的负载不均衡,导致部分高负载节点成为整个系统的性能瓶颈。针对此问题提出一种负载均衡的动态局部修复码(ALRC),该编码方案通过历史热度对冷热数据进行优先级确立,再对冷热数据进行动态编码,使其具备(r,t)-availability性质,让数据能够拥有额外的访问路径,借此提高热数据的并行访问性能和系统的负载均衡性,同时兼顾一定的存储效率。实验结果表明,ALRC在系统负载较不均衡时只需要相较于编码前少量的额外存储开销,便可拥有相较于原方案53%以上负载均衡度的提升,从而确保节点间的负载分布均匀,提高整个系统的性能和可靠性。

S-E-MBR:一种基于E-MBR码的分布式存储系统扩容方法

随着数据量的激增,以再生码为容错机制的分布式存储系统需要使用扩容技术扩充其存储容量。然而现有再生码扩容方法较少,在扩容时间与传输量方面有待提高。为此,针对在线分布式存储场景提出一种扩容方法 S-EMBR,以更高效的迁移方式降低迁移的数据块数量和I/O开销,减少校验更新时所需数据块,使其达到了理论数据块迁移量最优值。理论分析与实验结果表明,与RR与Scale-RS方法相比,S-E-MBR方法扩容时的数据传输量分别减少了52.7%~77.9%和41.3%~50.4%,扩容总时间分别减少了72.3%~75.4%和50.6%~53.5%,响应速度分别提升了39.2%和17.1%,可满足在线扩容场景需求。

基于分布式存储的外包EHR隐私保护分类审计方案

随着电子医疗领域的发展,电子健康记录(EHR)常被外包到雾节点上进行分布式存储以提升可靠性。EHR中包含大量隐私信息,然而数据外包易造成安全隐患,可能破坏EHR的完整性与隐私性。为确保EHR的安全存储,提出一种高效的基于EHR分类的分布式数据完整性审计方案。该方案将分类标签与布隆过滤器相结合以提升审计效率,利用Shamir秘密共享完成分布式审计,采用属性基可搜索加密以保护EHR所属类别信息的隐私。实验结果表明,所提方案的通信开销和计算开销较低。

基于分布式区块链的医用影像数据存储与传输策略

为解决医疗机构影像数据的安全加密存储与传输问题,文中提出了一种基于分布式区块链的安全存储与传输策略。该策略分别对患者、医疗机构和云存储服务商进行建模,采用改进BLS签名技术对影像数据进行加密存储,并通过密钥协商协议实现了患者和医疗机构的安全密钥交换。同时,所提策略还融入了Lucene检索机制,从而提高了影像数据的调阅速度。在某医疗影像云上进行的实验结果显示,所提方案的加解密时间较短,而且能够抵御篡改攻击、中间攻击和共谋攻击,综合结果均优于现有的加密存储模型。

基于Ceph的分布式存储系统跨机架修复技术分析

详细介绍了Ceph分布式存储系统的应用性质与层次结构,通过专业的研究与分析,将该类存储系统引入跨机架修复工作中,与修复技术充分融合。实践运用过程包括设计分级解码算法、优化纠删码、修复系统数据、验证试验方案和明确跨机架数据量等,在Ceph分布式存储系统的持续影响下,高效完成跨机架修复工作,确保各类机架使用质量。

分布式云存储的设备装架与数据部署方法

本文分析了分布式云存储的设备装架现状,指出目前装架的不足之处,然后根据分布式云存储的数据冗余存储特征,给出了一种分布式云存储服务器设备装架方法。该方法从设备安装上架开始就考虑冗余副本数据在机架间的均匀分布,确保分布式存储机架级的高可用,并给出了该装架方式下的数据部署方式建议,解决了分布式云存储机架级数据的高可用问题,使得数据均匀分布,提高了数据存取效率。