基于变异MD5的快照差分算法

如何有效、及时地检测和抽取信息源的增量数据是数据仓库及各种数据集成的首要问题,而对于简单的数据源通常用比较数据源两个时刻的快照的方法来检测增量数据。本文从传统Sort Merge快照差分算法代价和效率入手,分析提升其效率和速度的可能方法,并提出基于变异的M5的Sort Merge算法,有效减少比较的数据量和输入输出的数据量,显著的提高了算法的效率。

Window快照差分算法的改进

快照差分是获取数据增量的一种有效方式。在快照差分算法的研究中,效率是要解决的关键问题。通过分析典型的快照差分算法之一,即Window算法的原理和存在问题,提出了一种基于循环冗余码的改进算法,并分析其算法IO开销。最后给出模拟实例对两个算法的效率进行比较,结果表明所提出的改进算法效率更优。

信息集成中数据获取关键技术的研究

信息集成是消除信息孤岛,实现信息共享,为企业决策提供支持的核心技术,而数据获取过程是信息集成系统的基础.在数据同步更新研究中,通过根据失配元组的间隔自适应调整窗口大小,在不牺牲效率的前提下有效提高快照差分算法的查全率.进一步,在相似重复记录检测方法的研究中,结合一种新的字符串距离度量算法,并利用二次聚类,提出一种高效的基于条件概率分布的相似重复记录检测方法.最后通过实验对比测试,对快照差分算法以及相似重复记录检测算法的性能和效率进行分析,理论分析和实验结果均证明了提出的改进算法是非常有效的.

一种企业应用集成中的数据集成方案的研究与实现

本文针对企业应用集成中数据集成模式的局限,提出了一种新型的基于构件和消息代理模式的数据集成方案.首先给出该数据集成方案的体系结构,然后对数据集成中的关键技术进行研究.本方案中的数据抽取、转换和加载部分都以构件的形式集成在系统中,使得数据的抽取、转换和加载可以独立、并行执行,加快了数据集成的效率;同时,在数据抽取过程当中运用消息代理模式,通过根据匹配元组的间隔自适应调整窗口大小,有效提高了快照差分算法的效率,并通过消息构件实现数据的可靠异步传输,增强了数据集成的灵活性.实验结果表明了本方案的有效性.

基于函数依赖的导出关系候选码计算

基于函数依赖的候选码计算在基于压缩策略的快照差分算法、数据一致性检测、数据不一致修复、数据完整性约束等方面有重要的作用。分析选择、并、差、笛卡尔积等基本运算的函数依赖保持性,得出导出关系候选码与原准基础关系候选码的关系,针对投影、广义投影、笛卡尔积和聚集运算候选码可能存在冗余属性的情况,给出相应的算法优化组成候选码的属性。提出一种递归算法对给定的导出关系求出其候选码,运用快照差分算法进行实验,结果表明,运用该算法可以提高增量计算的运行效率。

数据集成增量检测中Sort Merge算法的改进和实现

在数据集成应用中,增量检测一个最主要的职责就是检测计算出数据源的增量数据,有多种方式可以检测分析出数据源的变化数据:触发器、日志分析、快照差分等等。而快照差分又可以采用不同的算法对两个快照进行计算,针对差分算法中SortMerge算法的一个改进和实现,主要利用有序文件来提高增量计算的效率。由于快照差分在字符串比对、文件差异计算、大数据量的差异对比、自然连接等实际问题有应用,对此类问题都有一定借鉴意义。