-
题名分布式实时抽取计算框架设计与应用
- 1
-
-
作者
孙良君
袁庆祝
陆佃龙
-
机构
中博信息技术研究院有限公司
-
出处
《信息技术》
2016年第8期185-187,196,共4页
-
文摘
针对任务类型的多样化、大量化、复杂化带来的数据源结构、数据类型的问题,文中提出了将Zookeeper消息调度和Redis内存计算相结合的方式,设计分布式实时抽取框架。利用Zookeeper消息通知,队列优先,共享锁等功能,结合Redis支持网络、可基于内存计算亦可持久化日志存储等特性,系统的吞吐量、执行效率、存储效率等都有显著提高。
-
关键词
Zookeeper
REDIS
实时抽取
分布式
内存计算
-
Keywords
Zookeeper
Redis
real time extraction
distributed
memory computing
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名高校数据集成系统的ETL设计与实现
被引量:7
- 2
-
-
作者
王晓虹
刘莹
张艳凤
-
机构
辽宁石油化工大学计算机与通信工程学院
东北大学信息科学与工程学院
沈阳农业大学
-
出处
《计算机技术与发展》
2011年第7期186-189,共4页
-
基金
国家自然科学基金(青年基金)(61003003)
-
文摘
高校数字化校园建设是高校教育信息化发展的一项重要任务。由于高校普遍采用不同的数据库系统来管理学校的一切事务,致使信息存在大量的冗余、不一致,乃至"信息孤岛"的现象,从而严重制约了高校的信息化的建设。基于ETL的数据集成技术能够很好地解决这个难题。以高校集成数字校园平台建设为背景,提出了高校数据集成系统中基于ETL平台的建设方案。系统将ETL技术与传统的数据集成技术相结合,采用适配器技术和中间件技术,处理大批量的历史数据、实时处理小批量的变化的数据,全方位地满足用户对所有数据处理的需求,解决了异构数据集成和共享问题。
-
关键词
ETL
数据集成
实时抽取
-
Keywords
ETL
data integration
real-time extraction
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名综合计费系统安全与优化技术研究
- 3
-
-
作者
徐国庆
-
机构
江苏有线泰州分公司
-
出处
《中国数字电视》
2011年第10期37-41,共5页
-
文摘
本文介绍了综合计费系统安全与优化项目涉及的各项技术,包括数据库集群技术,数据容灾技术和实时报表技术。在剖析各项技术原理的基础上,分析比较了各种实现方案之间的优缺点,为项目决策和实施奠定了理论基础。
-
关键词
数据库集群
容灾建设
实时数据抽取
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于ETL的银行数据同步系统的设计
- 4
-
-
作者
吴栋淦
-
机构
福建信息职业技术学院
-
出处
《福建信息技术教育》
2009年第4期33-36,共4页
-
文摘
由于银行在不同时期分别建设了信息系统,这些系统之间数据不统一。难以共享,为了解决该问题,利用ETL技术,设计商务智能解放方案(简称BIS),通过工作流的方式,对异构数据进行批量抽取转换,通过Webserrice调用完成实时抽取,解决了各系统之间数据共享难的问题。
-
关键词
ETL
数据同步
批量抽取
实时抽取
-
分类号
TP311.138
[自动化与计算机技术—计算机软件与理论]
-