数据集成增量检测中Sort Merge算法的改进和实现

在数据集成应用中,增量检测一个最主要的职责就是检测计算出数据源的增量数据,有多种方式可以检测分析出数据源的变化数据:触发器、日志分析、快照差分等等。而快照差分又可以采用不同的算法对两个快照进行计算,针对差分算法中SortMerge算法的一个改进和实现,主要利用有序文件来提高增量计算的效率。由于快照差分在字符串比对、文件差异计算、大数据量的差异对比、自然连接等实际问题有应用,对此类问题都有一定借鉴意义。

数据访问设计模式的应用研究

首先讨论了分布式应用中数据访问设计的目标需求,然后分析了两种设计模式DAO和TOA,最后应用设计模式实现了一种基于两层组件的数据访问中间件,第一层是利用DAO模式来构建数据访问组件,它主要是屏蔽数据访问过程;第二层是利用TOA模式来构建数据装配组件,这一层主要是实现依据数据访问组件获取的多个分布数据的装配。经过实践证明,达到了应用设计模式来优化系统内部结构的目的。