一种并行XML数据库分片策略

主要研究XML文档的并行数据分片策略,以便能够并行处理XML查询.为了描述XML数据分片,提出了媒介节点的概念.一组媒介节点的集合可以将一棵XML数据树分割成一棵根树和一组子树的集合:根树将在所有站点中复制;而子树集合则可以根据用户查询的工作负载被均匀地分片到各个站点中.对于同一棵XML数据树,会有很多种媒介节点的集合;而不同的媒介节点集合会产生不同的数据分片结果.然后,依据各个数据分片中的用户查询工作量是否均衡,来衡量一个分片的好坏.选择一组最佳的媒介节点集合是一个NP-hard问题.为了解决此问题,设计了一组启发式优化规则.基于这一思想,提出并实现了一种基于媒介节点的XML数据分片算法WIN(workload-awareintermediarynodesdataplacementstrategy).大量实验结果证明:WIN算法的性能要优于以往的并行XML数据分片策略.

基于XML中间件的分布式数据库的数据分片策略

XML技术由于其良好的数据描述能力,在数据库系统的数据交换中得到广泛应用。为了降低并行查询的困难程度和提高并行查询的准确度,提出一种基于XML的分布式数据交换中间件模型,给出了该模型的体系结构和功能定义,并根据此中间件讨论了一种分布式数据库的数据分片技术。

基于粒计算的数据分片算法

提出了一种基于粒计算的数据分片模型及算法,该算法在优先考虑数据本地化的基础上,可动态调整全集划分的粗细,将全集划分的数据分片的数量调整到一个比较合理的状态,既能减少网络流量、降低整个分布式系统开销,同时又控制了数据分片数量,减少了数据连接工作量,从而提高系统效率。

分布式数据库数据分片与分配

通过对集中式数据库和分布式数据库的比较,指出了数据分片与分配是设计分布式数据库重要环节,给出了数据分片与分配的目的、原则以及方法,分析了数据分布的透明性,对分片与分配之间的关系予以简要说明,最后介绍了在分布式数据库设计中分片与分配产生的问题。

基于数据分片技术的数据访问权限控制

文章分析了SYBASE数据库管理系统的安全控制机制和基于角色的数据访问控制模型。分析了这些技术的不足,在此基础上详细介绍了一种可以达到数据级访问控制的数据分片技术。

基于粒计算的数据分片算法的问题发现

基于粒计算的数据分片算法在考虑数据本地化的基础上,利用相似粒来划分全集数据。通过分析粒化算法的合并规则,发现在分布式数据库(Distributed Database,DDB)中,如果不考虑问题数据的出现,将会导致粒化算法产生的数据分片结果不可用,所以必须要消除问题数据。文中提出了利用黄金分割的知识进行校验,降低问题数据的产生,具有一定的可行性。文中指出如果无法保证数据的准确性,就无法使用该算法,并详细分析该算法的实际效用,对该算法的应用做了一定的限制。

基于XML中间件的分布式异构数据库的数据分片策略研究

主要研究XML中间件的分布式异构数据库的数据分片策略,以便能够并行处理XML查询。为了描述XML数据分片,提出了对象树、子树的概念,将一棵XML数据树分割成对象树和子树,对象树在各个站点上复制,子树标签化后均匀分片到各个站点上。为了实现用户数据分片查询工作量的均衡,对最大树深的子树采用减治法策略,减治法策略后的子树又分配到一个新的站点上。基于这一思想,提出并实现其算法。实验结果证明:在分布式异构数据库的检索、查询和访问中,基于对象树、子树的数据分片算法的性能要比PSPIB算法性能优越。

一种Office文件数据分片识别、排序、重组及修复方法

恢复被删除的涉案Office文档对调查取证工作有重要意义。当被删除的Office文件数据分为多段存储在磁盘内,且MFT记录被覆盖时,现有数据恢复工具无法有效恢复被删除的数据。针对这一问题,文章提出一种Office文件数据分片识别、排序、重组及修复方法。根据Office文件尾部目录区数据定位全部数据分片,确定分片排列次序,重组Office文件,并对受损数据分片进行修复。实践证明,该方法可有效恢复2007以上版本Office文档,在Office文件数据恢复方面优于X-way等恢复工具采用的首尾特征值恢复方法,可以达到更优的恢复效果。

数据分片技术在数据访问控制中的应用

文章指分析了基于角色的访问控制方法的局限性,简单介绍了基于角色的数据访问控制模型、数据分片技术的类型和原则。在此基础上提出了将数据分片技术与角色权限控制相结合的访问控制思想,并应用于教务管理系统中。

分布式数据库的复制和分片

该文通过对集中式数据库和分布式数据库进行比较，指出集中式数据库在存储能力，访问速度等方面存在的问题，对分布式数据库中的数据复制和分片的概念，原则，方法进行详细的论述，最后，对数据复制和分片要解决的关键问题进行分析。

基于数据包分片的工控蜜罐识别方法

蜜罐是一种用于安全威胁发现与攻击特征提取的主动防御技术,能够提供高价值且低误报率的攻击流量和样本。蜜罐的应用压缩了网络黑客的隐匿空间,攻击者可通过蜜罐识别技术来发现和规避蜜罐。因此,安全人员有必要从攻击者的角度深入研究蜜罐识别的方法,以便优化蜜罐系统的设计与实现。本文从蜜罐的结构出发,总结了8种蜜罐识别要素,并评估了不同识别要素的准确性和隐蔽性。结合互联网蜜罐分布特点,归纳了一种互联网中的蜜罐识别流程,并基于Conpot工控蜜罐架构的固有缺陷,提出了一种基于数据包分片的工控蜜罐识别方法。通过三次互联网扫描,共发现2432个Conpot工控蜜罐,并进一步分析了其分布特点。

网格数据库中基于发布/订阅的分片复制技术及实现

就网格数据库的研究现状进行了介绍,并针对某企业的实际应用论述了如何基于OGSA DAI采用发布/订阅模式,实现网格数据库间的实时数据复制。就其关键技术———分片处理策略和体系结构等进行了论述。经测试基于发布/订阅的复制模式比基于Oracle数据链路的Pull方式的数据复制模式具有更高的效率和更好的实时性。

海量机载激光点云数据分布式分片存储方法研究

机载采集的红外激光云数据,作为重要的遥感大数据,其存储方法决定后期的应用方向。由于海量化机载激光点云数据存储对高效率的要求越来越高,提出了一种海量机载激光点云数据分布式分片存储方法。对激光点云信息特征的加权模糊C均值化,去除激光点云数据的噪声干扰。依据Sharding分片功能,设计云数据库的数据分片算法。设计改进哈希数据分布算法,完成最终的海量机载激光点云数据分布式存储。实验结果表明:所提方法的激光点云数据存储能力更高,效率更好,实际应用效果更好。

基于MongoDB的数据分片与分配策略研究

为应对如今web应用数据量的快速增长,NoSQL技术得到了越来越多的重视与应用。论文选择NoSQL存储系统的典型代表MongoDB数据库来进行研究。首先,剖析了其内部自动分片机制,在此基础上提出了一种分片键选择机制来尝试提高整个系统的扩展性能,并以片键公式的应用实例来证明了片键选择机制的有效性。然后,针对当前MongoDB内部均衡算法的不足,在考虑了数据节点负载的差异后,对均衡算法进行了相应优化,实现了数据量与节点负载的动态均衡,并验证了新算法具有良好的高并发读写性能。

基于RNN的数据分片技术的研究

本文从随机神经元网络出发,在分析和评价六种不同的分片方法基础上,提出解决数据库分片问题的随机神经元网络方法及关键技术。

浅淡数据库设计中的数据分片

结合实例阐述了数据库设计中数据分片的含义、准则。

数据库系统应用分片中间件

随着国家电网信息化系统一级部署的陆续实施,业务数据库的表越来越多,表中的数据量越来越大.海量数据的存储与访问对数据库造成了相当大的负载,数据处理能力和访问能力均遭遇瓶颈.本文针对国家电网一级部署数据量快速增长的特点,提出了数据分片中间件UAPDS(UAP DB Sharding).UAPDS以集群、分区、分片三层拆分模式,通过读写分离、单库分表、多库分表等多种解决方案将数据按照一定的规则切分到不同的库或表中,有效的缓解了对数据库的压力,提高了数据访问效率,在实际应用中取得了较好的效果.

大中流域尺度分布式土壤侵蚀学坡长提取的数据分片方法

流域坡长提取过程中如何划分数据单元,是大区域范围内高效提取坡长的关键问题之一。以地形比较平缓的东北漫岗丘陵区和地势比较陡的黄土丘陵区为样区,将每个样区9个1∶25万标准图幅的DEM拼接为一个数据单元后,分别以中等流域和带缓冲带的标准图幅为单元提取坡长,从提取结果的图形、统计特征和工作效率等方面进行对比分析。结果表明:1)根据流域分布式土壤侵蚀学坡长的含义和提取算法,流域坡长提取的基本数据单元是DEM上可以辨认的、具有水文地貌意义的最小流域(最小有效流域,WME);当工作区域范围远大于WME的面积时,WME最外围流域边界的连线(BNDWME)将接近于矩形;2)对矩形数据区域(如标准图幅)的数据范围做进行适当外扩,即可避免不完整流域带的影响,并以标准图幅为数据单元提取完整的流域坡长;3)在比较平缓和比较陡的丘陵区,不完整流域带(即数据缓冲宽度)分别为3 km和5 km。大区域坡长提取中,根据数据缓冲宽度对矩形数据进行缓冲后,可直接用矩形数据提取坡长。该研究为大区域流域坡长提前中以标准图幅或者规则矩形数据块为单元的高效快速提取提供了依据。

数据分片在电子政务中的应用方案

在信息技术的飞速发展的今天,电子政务日益受到各国政府的重视,相关技术也得到了迅速发展。访问控制是网络安全问题的重点之一,也是电子政务研究的重点问题。在现有的多种方法中,基于角色的数据访问控制方法应用的最广泛。文中指出了基于角色的访问控制方法的局限性,简单介绍了基于角色的数据访问控制模型、数据分片技术的类型和原则。在此基础上提出了将数据分片技术与角色权限控制相结合的访问控制思想,并应用于电子办事处系统中。

模糊方法在数据分片中的应用

传统的数据分片方法不反映人们对事物认识所具有的模糊性．本文应用模糊方法来处理数据分片，便能较好地克服传统方法的局限性．