基于CDC机制的数据仓库实时数据更新方法研究

分析了某特定应用系统的数据仓库实时决策需求,确定了需要实时更新到数据仓库的数据库表。对几种实时更新数据的方案进行了比较和权衡,经过综合考量,设计了使用基于读取和分析数据库日志的CDC机制来捕获变更数据,然后在数据加载程序中设定周期,循环地将捕获到的变更数据放入中间数据集并批量加载到数据仓库中的实时数据更新方案。该方案经过实验验证可以满足实时更新数据的需求,并且更新数据的过程不会影响源系统的事务处理,适用于此应用系统。

跨院区分布式医疗数据采集融合平台设计与实现

目的 解决区域性数据中心或多院区医疗机构进行跨院区数据采集、融合所面临的突出困难。方法综合运用全增量无缝衔接、数据变更捕获、一致性比对、容错机制及带宽优化等关键技术,设计了数据汇聚部署、同步组织、管理控制等平台功能模块。结果 构建了分布式数据采集融合平台,解决多源异构数据归一性、完整性和保鲜性问题,实现跨院区、跨系统、跨领域的医疗数据实时汇聚融合。结论 分布式数据采集融合平台支持区域性数据中心或多院区医疗机构对医疗、管理、科研等方面数据价值进行挖掘,对满足全量实时贴源数据的迫切需求进行有效的技术性探索。

基于日志的多源异构变更数据捕获更新方法

随着BI(Business Intelligence,即商业智能技术)的发展和工业界业务需求的转变,企业迫切需要将数据源的变更数据实时地更新到数据仓库中进行分析与处理,从而及时辅助业务人员做出商业决策,因此产生了对增量变更数据的实时监测并捕获更新的需求。传统的数据更新方法无法识别数据中的增量更新,且获得的数据已失去时效性,难以支撑实时的决策分析,因此提出了一种基于数据库日志的变更数据捕获更新方法。并以实际应用案例为背景,介绍了如何运用该方法低侵入地捕获多源异构数据库的变更日志,并且将变更数据实时同步到下游数据库或系统中。本文将该方法投入到工业大数据场景下的实际企业生产环境中进行应用,构建基于数据库日志的变更数据捕获原型系统,使用企业的异构原始生产数据和业务数据对系统进行测试,验证了系统在实际大数据场景下的变更数据捕获能力,目前该系统运行良好。本文提出的基于数据库日志的多源异构变更数据捕获更新方法可以帮助企业以低侵入、高实时、高可用的方式完成异构数据的采集、处理和同步,能够高效地帮助企业快速进行数据分析,支撑企业做出正确的商业决策。

数据仓库数据更新的研究及基于Oracle数据库的开发与应用

数据抽取和数据更新是数据仓库设计和运行过程中一个重要的问题,论文研究了数据增量更新中如何确定数据源新数据的问题,提出了几个基本的解决方法。论文重点介绍了利用Oracle的数据更改捕获机制(ChangeDataCap-ture)来解决数据增量更新的方法,并结合应用给出了开发实例。

基于数据库日志的变化数据捕获研究

变化数据捕获方法是数据集成基础设施的战略组成部分,不断推动ETL、EAI等技术的发展.许多数据库厂商都提供了自己的CDC(Change data capture)产品,但只限于针对本身的数据库系统,价格也比较昂贵.虽然通过扫描数据库日志文件可以捕获变化数据,但大多数数据库系统都不提供日志文件的内部格式而只是提供日志访问的程序接口,如Oracle,SQL Server和DB2等.这些提供的接口有的访问活动日志,有的访问稳定日志,有的访问归档日志,因此很难保证读取日志文件的可靠性.现有的研究主要是如何利用程序应用接口读取日志文件,忽略了对可靠性的分析.本文针对读取不同类型的日志文件的可靠性条件进行了分析,提出了可靠读取规则及读取算法;并提出了从日志文件中有效抽取变化数据算法,实验证明了可靠性分析模型.

变化数据捕获技术研究

传统的数据库技术在系统要求不断刷新数据、实时商业智能和操作型数据存储方面都存在着很大不足。CDC(change data capture)技术提供了一个完整的IT解决方案,对数据集成、企业运作模式都有着深远影响。通过研究CDC技术,给出了CDC技术在数据容灾领域中应用的典型技术框架。

一种基于软件行为的实时信息综合方法

对于涉及数据表较多的信息综合过程,现有的变化数据捕捉(CDC)方法由于设置工作繁琐,导致数据库的工作效率下降。针对该问题,从软件行为角度出发,设计一种实时信息综合方法。通过建立行为-数据映射的方式,实现软件行为的监控,从而使数据库的CDC计算负担分摊到各终端计算机。实际测试结果表明,该方法与数据库类型无关,具有较好的普适性和实用性。

变化数据捕获研究及基于SQL SERVER的开发与应用

变化数据捕获是数据集成的核心内容,为高效地实现数据集成,探讨了变化数据捕获的常见机制,重点介绍了SQL SERVER的变化数据捕获方案———更改跟踪和变化数据捕获,并以实际开发项目为背景,介绍在偶尔连接场景下,如何运用变化数据捕获技术,合理设计数据集成方案,满足业务要求,实现异构数据源的有效更新.

我国海洋捕捞产值修正与渔获平均价格变化趋势分析

海洋捕捞产量与产值数据是反映我国海洋捕捞渔业发展状况的客观依据,对于分析产业现状、制定相关政策措施等具有重要意义。渔业统计部门已对1997—2006年间海洋捕捞产量指标进行了修正,但同期产值数据却未作调整。通过对1997—2006年我国海洋捕捞产量统计数据调整前后变化规律进行分析,借助未调整的海洋捕捞产值数据,在提出3点基本假设的基础上,分别构建了基于产值回溯的修正原理和基于平均价格回溯的修正原理,并对1997—2006年海洋捕捞产值进行了修正。结果显示,2种不同原理对海洋捕捞产值的修正结果存在一定差异,并最终以2种不同原理修正结果的平均值作为结论;从修正后结果看,海洋捕捞产值年均增长率达到13.59%。还分析了1997—2011年海洋捕捞产品平均价格增长趋势特征。1997—2006年海洋捕捞产值修正结论将为有关政府部门、研究者进行海洋捕捞渔业产值经济分析提供一定的数据支撑。

数据库同步中差异数据捕获方案设计与实现

差异数据捕获是数据库同步的基础，对其它环节的影响也非常大。差异数据捕获不仅要获得复制对象的变化序列或当前映像，还要在对等式复制时提供尽可能详细的控制信息。该文在分析目前常用的差异数据捕获方法之后，提出了一种时间戳与触发器相结合的设计方案并加以实现。

数据交换系统中变化数据实时处理的研究与应用

如何处理企业关键性业务系统中变化的敏感数据,是企业在信息化建设过程中必须解决的关键性问题。为了消除企业的"信息孤岛"问题,提高信息共享利用的效率和水平,文中设计了一套变化数据实时同步处理的解决方案。该方案通过将触发器与记录表相结合来捕获数据的变化,通过数据交换平台对变化数据进行处理与传递,从而实现敏感数据在系统之间的快速、可靠的实时同步。目前,该成果已实际应用于南方电网中,并取得了良好的应用效果。

基于Sqlserver2008数据库下的报表服务方案探析

随着信息化的推广和普及,数据库系统的应用范围和业务覆盖面也越来越广,数据基础信息量成几何级数倍增,业务复杂度逐渐升高。各种业务统计分析报表的数量和复杂度随之加大,如何建立一个跨系统、分布式、异构和高效率的统计报表服务就成为难题。本文结合业务系统与SQLServer2008数据库的特点,提出和测试报表服务方案,来提高系统的报表分析汇总性能。

数据交换系统中变化捕获方法的研究与实现

为解决异构数据库之间的数据交换问题,设计并实现了基于数据库的数据交换系统,其中数据库变化的捕获是该系统中的重要部分。通过分析比较现有的数据库变化捕获方法,提出了一种基于任务的控制表法。该方法在控制表法的基础上增加了任务和类型等相关信息,同时以净变化量提取组件作为辅助,能够更有效地适用于多节点间异构数据库的数据交换。并给出了在变化捕获方法中因使用触发器而带来的数据震荡问题的解决方法。

基于变化数据捕获机制的分布式缓存一致性策略

分布式缓存被广泛应用于解决传统关系型数据库的性能瓶颈问题,但是当不能感知分布式缓存的第三方应用直接更新后台数据库时,缓存数据会获得不一致的状态,存在过时缓存问题.本文提出一种基于变化数据捕获机制的分布式缓存一致性策略,集成了基于触发器和基于日志的两种变化数据捕获机制实时捕获后台数据库更新,实现了数据模型自动转换方法和SQL翻译引擎,实时更新缓存,从而保障分布式缓存的一致性.实验模拟TPC-W测试基准中的关键操作,验证了基于日志的变化数据捕获机制相比基于触发器的变化数据捕获机制有更好的数据库性能和缓存一致性效果.

变动数据捕获技术在HIS数据平台中的实现

介绍了基于变更轨迹表法的变动数据捕获技术在医院信息管理系统数据平台中的应用,提高了系统数据平台中变动数据的捕获和发布的效率。

SQL Server数据库的应用级持续数据保护系统

针对传统数据容灾系统备份窗口大、容灾等级低等问题,提出并设计了与SQL Server数据库相结合的应用级持续数据保护容灾系统.系统通过SQL Server提供的应用程序接口API,读取数据库事务日志变化,从而实时捕获数据库数据变化,将捕获的数据变化以日志的形式缓存并传送到异地进行操作重放,实现异地远程容灾.当发生灾难时利用心跳检测、IP浮动等技术进行远程异地接管;当发生误操作时可根据日志文件恢复到之前的任意时间点。

基于生产线质量控制系统的动态数据仓库解决方案

如何实现数据仓库的"动态"特性是部署"动态数据仓库"系统的关键所在,而关键的关键又在于如何实现动态数据仓库中的实时数据获取。以一个实际系统为例,提出了一种适用的动态数据仓库体系架构及实时数据捕获与加载解决方案。在实际系统中验证了该方案的可行性。

异构数据库同步问题研究

数据同步作为维护分布式环境中各个节点数据库间数据一致性的方法,是分布式环境中的一项关键技术。由于数据库异构现象越来越普遍,研究异构数据同步无论在理论上还是在实际应用上都具有非常重要的意义。

基于可变时间窗口的增量数据抽取模型

基于合适的数据抽取模型持续不断地将变化的数据从各个数据源系统进行抽取集成,是各个异构系统之间进行数据共享融合的关键,也是构建增量式数据仓库来进行数据分析的关键。传统的时间戳变化数据捕获方式存在因数据抽取过程中发生异常而导致数据抽取失效,进而影响数据抽取效率的问题。鉴于此,文中借鉴时间窗口的思想,采用先抽取少量重复记录再去重的做法,对传统的时间戳增量数据捕获模型进行了改进,提出了基于可变时间窗口的增量数据抽取模型。该模型减少了异常对数据抽取的影响,增强了时间戳增量数据抽取ETL流程的可靠性,在一定程度上提高了数据的抽取效率。

煤矿安全监控系统数据防篡改研究

现有的煤矿安全监控系统数据加密多采用数据库加密存储和文件加密方式,存在性能开销大,无法追踪数据变动记录等问题,降低了安全监控系统的稳定性和安全性。根据煤矿安全监控系统数据防篡改的要求,提出一种利用变动数据捕获机制和消息摘要加密相结合的对篡改行为进行识别、跟踪与记录的方法。该方法在安全、性能与存储方面取得了较好的平衡,同时具备良好的兼容性。