分布式实时抽取计算框架设计与应用

针对任务类型的多样化、大量化、复杂化带来的数据源结构、数据类型的问题,文中提出了将Zookeeper消息调度和Redis内存计算相结合的方式,设计分布式实时抽取框架。利用Zookeeper消息通知,队列优先,共享锁等功能,结合Redis支持网络、可基于内存计算亦可持久化日志存储等特性,系统的吞吐量、执行效率、存储效率等都有显著提高。

高校数据集成系统的ETL设计与实现

高校数字化校园建设是高校教育信息化发展的一项重要任务。由于高校普遍采用不同的数据库系统来管理学校的一切事务,致使信息存在大量的冗余、不一致,乃至"信息孤岛"的现象,从而严重制约了高校的信息化的建设。基于ETL的数据集成技术能够很好地解决这个难题。以高校集成数字校园平台建设为背景,提出了高校数据集成系统中基于ETL平台的建设方案。系统将ETL技术与传统的数据集成技术相结合,采用适配器技术和中间件技术,处理大批量的历史数据、实时处理小批量的变化的数据,全方位地满足用户对所有数据处理的需求,解决了异构数据集成和共享问题。

综合计费系统安全与优化技术研究

本文介绍了综合计费系统安全与优化项目涉及的各项技术,包括数据库集群技术,数据容灾技术和实时报表技术。在剖析各项技术原理的基础上,分析比较了各种实现方案之间的优缺点,为项目决策和实施奠定了理论基础。

基于ETL的银行数据同步系统的设计

由于银行在不同时期分别建设了信息系统,这些系统之间数据不统一。难以共享,为了解决该问题,利用ETL技术,设计商务智能解放方案(简称BIS),通过工作流的方式,对异构数据进行批量抽取转换,通过Webserrice调用完成实时抽取,解决了各系统之间数据共享难的问题。