一种基于信息分散算法的分布式数据存储方案

针对分布式数据存储方案中,基于复制的方法和基于秘密共享的方法存在存储开销过大的问题,提出了分布式系统中一种基于IDA码的客户服务器工作模式的数据存储方案。该方案在数据写入过程中通过构造编码后数据分块的Hash值级连,即所谓的数字指纹,可实现Byzantine环境数据的完整性保护。

空间高效的分布式数据存储方案

针对分布式数据存储中空间效率低、计算复杂度高等问题,基于Jordan矩阵和拉格朗日差值公式,提出了一种一般访问结构上高效的分布式数据存储方案。方案是计算安全的,空间利用率与理论安全的方案相比提高了m2倍,每个存储服务器只需维护长度很短的秘密份额,就可以实现大数据的分布式存储。在数据存储过程中,存储服务器根据双线性对的性质计算并贡献影子份额,确保秘密份额的安全性。方案具有可公开验证性,有效防止了数据分发者与存储服务器的欺骗。最后对方案的正确性、安全性、拓展性、空间效率等进行分析,表明方案在分布式数据安全存储中具有很好的应用前景。

无线传感器网络中一种安全高效的分布式数据存储方案

在无人值守的无线传感器网络应用中,传感器节点大多被部署在恶劣的环境中,节点间通信困难,而且在某些场景下,用户需要感知数据的摘要信息而不是实时数据,这样感知数据不需要立即发送到中央节点或用户终端,而是长时间保存在传感器节点上,如此可避免感知数据的实时传送,降低通信消耗,延长节点生命周期,但该网络通常会面临安全风险,诸如数据失效、节点被俘获而导致的数据丢失或被篡改等。对此,本文提出了一种安全高效的分布式数据存储方案,该方法不仅提高了数据存活率,降低了网络通信消耗,更提高了数据的安全性与可靠性,并能更好地适应多用户场景中感知数据的恢复。

一种有效的分布式数据存储保密方案设计

结合对称加密技术和门限加密技术,提出了一种适用于分布式数据存储需要的有效的系统机密性保护方案,其中对称加密技术用于对所存储的文件进行加密,分布式门限加密技术则对对称加密方案中所用的密钥进行保护,可在不带来密钥存储问题情况下满足恶意环境中分布式数据存储系统的机密性要求。

分布式数据存储中的机密性保护

结合对称加密技术和门限加密技术,提出了一种适用于分布式数据存储需要的有效的系统机密性保护方案,其中对称加密技术用于对所存储的文件进行加密,分布式门限加密技术则对对称加密方案中所用的密钥进行保护,可在不带来密钥存储问题情况下满足恶意环境中分布式数据存储系统的机密性要求。

基于Java和XML的分布式数据存储架构

探讨了一种基于 Java和 XML技术的分布式存储结构 ,该结构主要用于解决异构的数据存储和数据交互问题 ,构造了一种 Internet环境下的分布式数据存储模式 .在对分布式存储结构进行概述的基础上提出了具体的结构模型 。

基于Mycat的分布式数据存储研究

随着信息化进程的不断推进,各行各业的信息化建设工作均取得了较大突破,也因此建设了众多类型不一的业务系统,并且随着业务系统的长期应用,已经存储了大量的历史业务数据。由于在早期的系统建设时,受限于当时的技术条件及应用场景,针对数据存储基本全部使用了关系型数据库,包括Oralce、SQL Server以及MySQL等,虽然在应用初期,单库的关系型数据库系统能够为业务系统的应用提供了高效的支持,然而随着业务数据的累年增多,其缺陷也逐渐暴露出来,包括数据存储达到容量上限、数据存取效率随着数据增多变慢等,所以为了解决单库数据库的应用不足,同时又保留早期关系型数据库的应用特点,就需要对数据的存储方式进行必要的改造,而分布式数据存储方案的出现,正好可以解决这一应用需求,所以基于分布式的数据存储方案研究已经成为当前关系型数据库大数据存储研究的重点。Mycat技术,作为新生代的分布式数据存储中间件,具备开源、稳定、便捷、高效等特点,已经成为分布式数据存储研究的新方案。

云存储的研究以及改进的分布式数据存储策略

该文提出了一种改进的分布式数据存储策略。该文的改进策略基于一致性哈希数据分布算法,采用虚拟节点的方式进行数据的分布式存储,并实时监控各存储节点的负载率进行均衡调整。该策略采用标注优先级的方式快速提升新增存储节点的利用率,有效地优化了整个存储系统的性能,提高了负载均衡的整体效果。

数据层：分布式数据存储的桥梁

大型互联网架构中，数据存储会面临读写容量瓶颈问题，像阿里双11活动，核心数据存储集群读写日访问量可以达到100亿以上，在这种场景下，单机数据库方式必定面临极大挑战，类似的场景也在一些传统使用IOE的企业中成为一种制约业务发展的致命要素。

基于数据库标签感知分片的制造过程测量数据分布式存储

针对零件在线测量过程中多种测量仪器无法协同存储、仪器内数据查询聚合困难等问题,对多工序测量仪器集群的数据分布式存储和共享方法进行了研究。首先,在多个嵌入式测量仪器中,移植非关系型数据库集群对零件数据进行了分布式存储,简化了零件数据存储模型;然后,引入标签感知分片(tag-aware sharding),实现了零件不同工序测量数据的分类存储目的;最后,使用多个搭载嵌入式Linux系统的树莓派3B+开发板作为测量仪器系统平台,搭建了基于MongoDB数据库的在线测量分布式存储集群,通过大量测试数据验证了该集群在多节点存储时数据分布均匀、性能稳定;将存储集群与企业制造执行系统(MES)进行了对接,其可以实时监控分析零件测量数据,快速汇总所有测量节点内的工序数据并生成报表。研究结果表明:当集群中数据量达到7.2×10^(5)条时,单节点查询响应速度稳定在125 ms~208 ms范围内,相比哈希分片,其最高提升了88.15%;多节点协同查询响应速度为1308 ms,相比“升序键+搜索键”方案,其提升了了61.64%;多个测量节点内,1×10^(5)个零件数据聚合统计仅需5 s左右。该存储集群可以监控零件生产情况,在减少零件制造误差、提高制造效率和质量方面具有重要作用。

基于OBE理念和主线引领的大数据分布式存储课程教学改革探索

科技进步引领时代发展。近年来,随着新一代信息技术的涌现,“云、大、物、移、智”等新兴技术不断改变着我们的生活,同时也在潜移默化地进入高校课堂。大数据分布式存储课程是数据科学与大数据技术专业的专业必修课程。文章结合该课程的特点,针对实际教育需求,按照OBE理念进行课程设计,将混合式教学理论融入课程教学中。同时,结合主线引领等教学方法,探索出混合式学习的实施思路,提出实践操作和线上线下混合式教学的教改模式。文章通过反向设计思路,以学生学习成果为导向,结合大数据分布式存储的学习主线,按照实践教学课程设计思路与方法进行教学改革与实践。同时,通过将数学、自然科学、工程基础和专业知识融合在日常教学中,旨在有效提高学生自主学习、合作、实践和创新的能力。

分布式并行网络数据存储技术

The bases of distributed parallel network data storage technology(DPNDS) are high speed network tech-nology, database technology, artificial intelligence and multimedia technology. It will become the foundation of mod-ern information society because of the excellent management efficiency, reliability, availability, expansibility and lowcost. In this paper, we discuss the key technology of DPNDS which includes data distributing, parallel data process-ing, data network storage, object-oriented data storage and then give some suggestions about the new research direc-tion.

一种协同工作环境中(分布式)的容错和安全数据存储方法

我们描述了一种新的方法建立一个安全和容错在协同工作环境和数据存储服务,以完美的秘密共享方案来存储数据。由于较高的计算开销,完美的秘密共享方案已发现很少使用在管理通用数据上了。为此我们提出的方法使用了一种新的建立在异或(XOR)算法上的新型加密方式,从而大大降低计算开销。秘密共享再加上复制机制所形成的一个系统机制是一个不错的方案,它可以通过改变自身的一些性质,从而达到平衡各个指标的功能。我们评估所提出的框架的属性和性能,并显示完美的秘密共享和复制相结合,可以用来建立高效的容错和安全的分布式数据存储系统。

在数据网格环境中可靠获取分布式数据的方法

为了保证数据密集型网格中的数据的可获取性,采用对数据资源增加存储副本的方法,提出了一种数据密集型网格环境下的大数据分片存储及散发方法,并设计了一种数据自动复制及散发模型。初步实验表明该方法能够以较小的系统代价大幅度提高数据的可获取性。

基于混合数据库的多源社会治理数据的分布式存储与融合

社会治理是国家治理的重要方面。坚持和完善共建共治共享的社会治理制度,保持社会稳定、维护国家安全是社会治理的长远目标。当前由数字技术驱动的社会治理创新已经从信息化走向了智能化,其首要面临的问题就是海量多源异构的社会治理数据的存储与融合。本文采用混合数据库技术,基于Hadoop框架,提出了一套多源社会治理数据的分布式存储与融合技术方案,并利用国产化大数据产品落地建设在深圳市龙岗区。

风廓线雷达数据的分布式云存储设计及实现

风廓线雷达数据对气象预报具有很重要的价值,数据具有体量巨大,响应速度要求快等特点。传统的气象数据存储方式难以满足实时大数据存储、实时处理、响应时间等方面的需求。旨在结合风廓线雷达数据的特点,基于分布式数据存储技术,开展大数据环境下风廓线雷达数据的准确、高效、快速访问,规范业务流程,实现风廓线雷达数据的分布式存储,为应用提供数据支撑。

基于群体智能算法的大数据分布式存储方法

采用目前方法对大数据进行存储时,无法有效分配数据中存在的冗余数据,导致方法存在带宽占用率高、负载均衡度低、节点剩余能量低和数据存储量低的问题。提出基于群体智能算法的大数据分布式存储方法,利用一致性树分布存储方法完成大数据的分布存储,通过群体智能算法选择存储节点,对存储节点和大数据进行映射处理,将数据映射到对应的存储节点中,并采用遗传算法对大数据中存在的冗余数据进行分配,完成大数据的分布式存储。实验结果表明,所提方法的带宽占用率低、负载均衡度高、节点剩余能量高、数据存储量高。

海量机载激光点云数据分布式分片存储方法研究

机载采集的红外激光云数据,作为重要的遥感大数据,其存储方法决定后期的应用方向。由于海量化机载激光点云数据存储对高效率的要求越来越高,提出了一种海量机载激光点云数据分布式分片存储方法。对激光点云信息特征的加权模糊C均值化,去除激光点云数据的噪声干扰。依据Sharding分片功能,设计云数据库的数据分片算法。设计改进哈希数据分布算法,完成最终的海量机载激光点云数据分布式存储。实验结果表明:所提方法的激光点云数据存储能力更高,效率更好,实际应用效果更好。

无线传感器网络中一种分布式安全存储方案

对无线传感器网络的数据存储进行分析和研究,提出了一种以数据为中心的无线传感器网络中的分布式数据存储方案。该方案可有效解决集中式数据存储方案造成的中心节点的高负荷瓶颈问题,同时也避免了由于中心节点失效导致的数据丢失或泄漏问题。相对于现有的分布式数据存储方案,该方案运用Reed Solomon Code对数据进行加密,并且运用消息认证码进行认证。即使部分节点失效时仍能恢复原始数据,并且能避免恶意节点的数据伪造,确保了数据安全,同时也能更好地节省存储空间。通过模拟将该方案和现有的方案进行了比较,验证了该方案具有很好的效果。

分布式大数据存储在融合新闻生产平台中的应用

本文结合深圳广电的实践,介绍了在融合新闻生产的业务背景下,分布式大数据存储技术、架构和特点,实现了对融合新闻生产平台的有效支撑,对存储系统与融合生产业务的结合进行了展望。