TF&B索引:一种基于结构摘要思想的时态XML索引

如何在XML文档中表达时间相关的数据、跟踪历史信息和恢复文档在以前任意时刻的状态的问题,在最近的研究中受到不少的关注,许多文献提出了不同的模型.将这一类的问题归为索引时态XML文档的问题,采用的时态XML模型保存不同时刻结点之间的关联关系,并不保存某些时刻的快照,在此模型上提出了一种新的索引--TF&B索引,并针对不同类型的5种TXPath查询提出了在该索引下的算法.实验的证明,这个索引比之前针对时态模型提出的索引具有更好的性能.

SAJ:以最小化空间代价为目标的F&B索引构建算法

F&B索引及其相关技术是XML结构化索引研究方面的热点问题.利用树模型XML文档特有的结构性质,以最小化空间代价为目标,提出了一种新的F&B索引创建算法.该算法以后根顺序遍历XML文档,通过合并节点构建F&B索引,避免了将整个文档读入内存,极大地减少了构建索引需要的空间.理论分析和实验结果表明,该算法在创建索引过程中拥有很好的时空性能,有利于F&B索引的广泛应用.

基于F&B索引的XML查询处理算法

XML已成为信息交换和表示的标准.对XML数据的查询将返回满足特定约束的XML节点子集.对于大文件的XML数据的查询处理通常分为两步:1.为该XML数据建立一个索引;2.在索引上完成查询处理无需访问源文档.XML索引为查询处理提供了高效的帮助,其中F&B索引是已知的处理分枝查询最小的索引,但快速创建F&B索引和利用F&B索引完成查询处理的算法却很少有人研究.提出了一种素数序列标记法,这种标记法不仅有助于快速地建立F&B索引,更可以高效地完成F&B索引上的查询处理.此外,还给出了F&B索引上的区间标记法与CCPI的创建过程,这两种编码创建过程无需在建立F&B索引后二次创建,仅需与F&B索引创建过程一起对文档使用SAX解析器分析一次即可得到.这样,可以在F&B索引的区间标记法上使用TwigStack算法执行查询处理,在F&B索引的CCPI标记法上使用关联路径连接算法执行查询处理.还给出了基于素数序列标记法的查询处理算法,即素数整除匹配算法,该算法可以高效地判定某节点是否有某分枝子结构.实验表明基于素数序列标记法的F&B索引创建方法比SAM算法快,在多个数据集F&B索引上素数整除匹配算法优于关联路径连接算法和TwigStack算法.

用于内存数据库的Hash索引的设计与实现

电信领域已成为数据密集型行业,需要高性能的数据库系统作为支撑系统,基于磁盘的数据库系统不能满足"实时"、"近实时"访问数据库的需求,将数据库核心数据驻留在内存中,可以使用内存数据库来满足需求。Hash索引是数据库系统中广泛使用的索引技术之一,它能够快速地访问数据,易于设计和实现。该文根据内存数据库的特点,为电信网管系统的内存数据库设计并实现了Hash索引。

TVDSM:支持透明计算的虚拟磁盘存储模型

为了解决在透明计算环境下,现有虚拟磁盘镜像存储存在多用户虚拟磁盘数据冗余过度的问题,基于写时重定向(redirect-on-write,ROW)思想设计了一种树状虚拟磁盘存储模型(tree virtual disk storage model,TVDSM)。该模型将虚拟磁盘中数据资源按共享度划分成多个层级,不同终端用户共享位于上层的系统资源以及应用软件资源,只在底层存储自身改写的数据,从而减少了虚拟磁盘存储系统中的冗余数据。同时基于位图索引技术设计并实现了一种树状的虚拟磁盘存储结构,该结构不仅能够很好地支持虚拟磁盘存储模型,而且支持将写重定向和查询定位操作以不同粒度分开实现,使得系统能够在较小共享粒度下获得较高的数据查询效率。

基于连续分配和索引分配的混合外存分配策略研究

本文主要讨论了磁盘分配策略中的连续分配策略和索引分配策略,对两种磁盘分配策略的分配过程进行了详细的分析和研究,分析了其各自特点,并通过对比总结了两种外存分配方式对磁盘存储效率的影响。结合两种外存分配策略的特点,提出一种基于以上两种分配策略的混合分配策略,并对该分配策略的分配过程进行了研究和讨论。

相似索引:适用于重复数据删除的二级索引

由于EB(extreme binning)使用文件的最小块签名作为文件的特征,它不适合处理主要包括小文件的数据负载,会导致较差的重复数据删除率。为了改进EB,提出了相似索引。它把相似哈希作为文件的特征,是一种适用于以小文件为主的数据负载的重复数据删除的二级索引。实验结果表明,相似索引的重复数据删除率比EB高24.8%;相似索引的内存使用量仅仅是EB的0.265%。与EB相比,相似索引需要更少的存储使用量和内存使用量。

基于索引的内存相似性连接算法

在传统的相似性连接算法中,精确计算和分区阶段互相独立,精确计算时需要对每个分区中的所有数据进行两两比较,计算量较大。针对该问题,设计一种新的内存索引——距离树,并在其基础上提出两结构内存相似性连接算法。根据数据的潜在分布将其分发到不同的分区中,保证具有一定相似度的数据对分配在同个或相邻的分区内,同时通过树节点之间的位置信息保存分区阶段的计算结果,使精确计算阶段仅需对每个分区中相邻的叶节点数据进行比较计算。实验结果表明,与TOUCH算法相比,基于距离树的算法可使运行速度提高2倍~3倍,并具有更好的可扩展性。

XML数据库存储与索引模式研究

本文重点介绍了1-index和基于磁盘的F&B索引,以及基于磁盘的F&B索引的构建方法,并对在其基础上的查询处理算法进行了总结和分析,望能够对同行业有一定的参考性价值。

桌面搜索——如何找到重要的文档以及如何从磁盘灾难中恢复数据

如果你跟我一样，使用的是Windows桌面搜索，那么你可能也会发现，较之标准的搜索助手（Search Companion），难以理解的XP索引服务，抑或是微软Office办公软件那恐怖的文件搜索功能，Windows桌面搜索已经有了很大的改进。

磁盘文件 小管家

“电脑磁盘文件恢复大师”采用硬盘的底层读写的核心技术，文件在删除后可恢复率高达98％，磁盘完全损坏时，软件也能将未破坏数据最大限度恢复。软件还具备文件搜索引擎技术，只要还记得文件名，就能轻松找回文件。

无需磁盘整理23个XP快起来的妙招

你一直想通过整理磁盘碎片提高计算机运行速度吗?它能重新组织硬盘上所有数据,使每个文件都被安排到硬盘上一个单独的不间断或者相邻的位置,许多系统专家都深信经常整理磁盘碎片能保证计算机的高性能状态,但是你知道吗,现在这个方法已经过时了……

单索引文件的降序排序与查询

为了实现数据库中的数据按指定顺序排列，数据库管理系统FoxPro常采用排序和索引两种方法。排序操作生成新的数据库文件，每执行一次排序操作，就生成一个新的独立的数据库文件，对于同一个数据库，经常要用不同的关键字进行排序，这样生成的排序数据库文件就会较多，数据的使用和管理就比较困难，并且占用较多的磁盘空间。

一种主机领域备份数据索引方法研究

信息时代的发展使得数据规模不断扩张,出于数据安全、数据共享、成本控制等多方面考虑,需要对磁盘数据实施定期备份。在资源有限的前提下,对于变化率较小的数据,采用非全量备份将是比较高效的选择。就主机领域而言,由于主机系统并不记录磁带备份文件与所备份的磁盘文件名称间的对应关系,如采用非全量数据备份,当进行数据恢复时,如何在大量备份中定位到所需数据所在的磁带备份将面临很大挑战。

面向批量插入优化的并行存储引擎MTPower

针对多核处理器的特点,文章提出了一个符合MySQL接口标准的并行存储引擎MTPower.该存储引擎着重利用多核处理器的并行计算能力提升批量插入过程中的索引产生过程,主要包含存储引擎接口、并行批量线性Hash索引、并行批量B+树插入、支持并行访问的磁盘存储缓冲等部分.测试结果表明,在批量插入记录且需要创建Hash和B+树索引时,MTPower的性能比经典的单线程存储引擎MyISAM最高可以提高6.1倍和4.8倍;在系统中线程总数略大于处理器核数时,MTPower可以达到最佳性能;在处理器核的数量增加时,MTPower的性能也能随之提高.

Linux下进程安全性解决方案

进程的安全性对操作系统的正常运行至关重要。Linux操作系统中现有的进程安全性检测工具不能对进程进行区分,同时不具有故障恢复功能。提出记录合法进程的相关信息、建立进程“指纹”数据库,实现进程安全性检查以及恢复的方案。当进程被恶意修改和删除后能及时发现和修复,从而切实地保证操作系统的安全。最后就该解决方案采用的安全措施对常见的攻击方法的抗攻击效果进行分析。

基于改进Sparse Indexing的多负载消冗方法

针对现有的Sparse Indexing方法不能有效处理小文件备份负载的问题,提出了一种以Broder扩展定理为理论依据的最小特征采样算法,该算法可以对不同形式的备份负载进行有效的特征采样。在此算法的基础上,设计了一种多负载重复数据消除方法,该方法通过对备份负载进行特征采样,仅在内存中维护完整索引的一个很小的子集,并通过批量读入分块标识符,摊销了磁盘访问开销,提高了吞吐量。实验结果表明,该方法对混合备份负载的压缩比是Sparse Indexing的2.04倍,而吞吐量与Sparse Indexing相当。该方法适用于需要处理多种形式备份负载的高性能重复数据消除系统。

基于重复数据删除的远程备份系统

针对传统远程备份中大量冗余数据导致备份效率低下和存储空间浪费的问题,设计并实现了一个基于重复数据删除的远程备份系统。首先根据文件的内容用Rabin指纹将备份文件划分为变长的数据块,把每个数据块的相关信息发送到备份中心,在备份中心利用Google Bigtable及Leveldb的索引算法辅以布隆过滤器对数据块进行判重,最后只传输和存储不重复的数据块。实验结果表明,采用该系统备份相似的数据集能够有效删除其中的重复数据。对数据集进行增量备份,在增量数据变化不大时,相比Rsync备份有更少的网络流量。