期刊文献+
共找到415篇文章
< 1 2 21 >
每页显示 20 50 100
Refreshing File Aggregate of Distributed Data Warehouse in Sets of Electric Apparatus
1
作者 于宝琴 王太勇 +3 位作者 张君 周明 何改云 李国琴 《Transactions of Tianjin University》 EI CAS 2006年第3期174-179,共6页
Integrating heterogeneous data sources is a precondition to share data for enterprises. Highly-efficient data updating can both save system expenses, and offer real-time data. It is one of the hot issues to modify dat... Integrating heterogeneous data sources is a precondition to share data for enterprises. Highly-efficient data updating can both save system expenses, and offer real-time data. It is one of the hot issues to modify data rapidly in the pre-processing area of the data warehouse. An extract transform loading design is proposed based on a new data algorithm called Diff-Match,which is developed by utilizing mode matching and data-filtering technology. It can accelerate data renewal, filter the heterogeneous data, and seek out different sets of data. Its efficiency has been proved by its successful application in an enterprise of electric apparatus groups. 展开更多
关键词 distributed data warehouse Diff-Match algorithm KMP algorithm file aggregates extract transform loading
下载PDF
A Data Mining Algorithm Based on Distributed Decision-Tree in Grid Computing Environments
2
作者 Zhongda Lin Yanfeng Hong Kun Deng 《南昌工程学院学报》 CAS 2006年第2期126-128,共3页
Recently, researches on distributed data mining by making use of grid are in trend. This paper introduces a data mining algorithm by means of distributed decision-tree,which has taken the advantage of conveniences and... Recently, researches on distributed data mining by making use of grid are in trend. This paper introduces a data mining algorithm by means of distributed decision-tree,which has taken the advantage of conveniences and services supplied by the computing platform-grid,and can perform a data mining of distributed classification on grid. 展开更多
关键词 GRID decision-tree distributed data ming system architecture
下载PDF
An architecture for mobile database management system 被引量:2
3
作者 Dong Li and Yucai Feng Computer School, Huazhong University of Science and Technology, Wuhan 430074, China 《Journal of University of Science and Technology Beijing》 CSCD 2002年第2期156-160,共5页
In order to design a new kind of mobile database management system (DBMS)more suitable for mobile computing than the existent DBMS, the essence of database systems in mobilecomputing is analyzed. An opinion is introdu... In order to design a new kind of mobile database management system (DBMS)more suitable for mobile computing than the existent DBMS, the essence of database systems in mobilecomputing is analyzed. An opinion is introduced that the mobile database is a kind of dynamicdistributed database, and the concept of virtual servers to translate the clients' mobility to theservers' mobility is proposed. Based on these opinions, a kind of architecture of mobile DBMS, whichis of versatility, is presented. The architecture is composed of a virtual server and a local DBMS,the virtual server is the kernel of the architecture and its functions are described. Eventually,the server kernel of a mobile DBMS prototype is illustrated. 展开更多
关键词 mobile database dynamic distributed database DBMS architecture virtual server data region
下载PDF
Scalable Distributed File Sharing System: A Robust Strategy for a Reliable Networked Environment in Tertiary Institutions 被引量:1
4
作者 Emmanuel N. Ekwonwune Bright U. Ezeoha 《International Journal of Communications, Network and System Sciences》 2019年第4期49-58,共10页
The bane of achieving a scalable distributed file sharing system is the centralized data system and single server oriented file [sharing] system. In this paper, the solution to the problems in a distributed environmen... The bane of achieving a scalable distributed file sharing system is the centralized data system and single server oriented file [sharing] system. In this paper, the solution to the problems in a distributed environment is presented. Thus, inability to upload sizeable files, slow transportation of files, weak security and lack of fault tolerance are the major problems in the existing system. Hence, the utmost need is to build a client-server network that runs on two or more server systems in order to implement scalability, such that when one server is down, the other(s) would still hold up the activities within the network. And to achieve this reliable network environment, LINUX network operating system is recommended among others as a preferred platform for the synchronization of the server systems, such that every user activity like sending of internal memos/mails, publication of academic articles, is replicated;thereby, achieving the proposed result. Hence, Scalable Distributed File Sharing System provides the robustness required to having a reliable intranet. 展开更多
关键词 distributed SYSTEM architecture FILES Sharing distributed FILE SYSTEM Replication Reliability TRANSPARENCY data Access Interfaces FAULT Detection FAULT Tolerance Cache Consistency Scalability
下载PDF
Preliminary Study in Spatial Data Warehouse of Flood Control and Disaster Mitigation in Yangtze River Basin
5
作者 ZHAN Xiao guoSenior engineer, Yangtze River Scientific Research Institute, Changjiang Water Resources Commission, Wuhan 430010, China 《人民长江》 北大核心 2002年第S1期90-92,共3页
Since 1990s,the spatial data warehouse technology has rapidly been developing, but due to the complexity of multi-dimensional analysis, extensive application of the spatial data warehouse technology is affected. In th... Since 1990s,the spatial data warehouse technology has rapidly been developing, but due to the complexity of multi-dimensional analysis, extensive application of the spatial data warehouse technology is affected. In the light of the characteristics of the flood control and disaster mitigation in the Yangtze river basin, it is proposed to design a scheme about the subjects and data distribution of the spatial data warehouse of the flood control and disaster mitigation in Yangtze river basin, i.e., to adopt a distributed scheme. The creation and development of the spatial data warehouse of the flood control and disaster mitigation in Yangtze river basin is presented .The necessity and urgency of establishing the spatial data warehouse is expounded from the viewpoint of the present situation being short of available information for the flood control and disaster mitigation in Yangtze river basin. 展开更多
关键词 spatial data warehouse distributional scheme FLOOD control and DISASTER MITIGATION YANGTZE RIVER
下载PDF
The Data Warehouse Model Based on Web Service Technology
6
作者 ZHONG Luo ZHANG Kaisong +1 位作者 XIA Hongxia ZHANG Kaipeng 《通讯和计算机(中英文版)》 2005年第1期26-30,共5页
关键词 WEB服务系统 数据库 编译程序 类别支撑系统
下载PDF
Research on IPv6 Transition Evolvement and Security Architecture of Smart Distribution Grid Data Communication System
7
作者 Xin Miao Xi Chen 《Journal of Energy and Power Engineering》 2012年第1期146-149,共4页
Smart distribution grid needs data communication systems as a support to complete their important functions. The smart distribution grid of the data and information are increasingly adopting internet protocol and Ethe... Smart distribution grid needs data communication systems as a support to complete their important functions. The smart distribution grid of the data and information are increasingly adopting internet protocol and Ethernet technology. The IP addresses are more and more important for the smart distribution grid equipment. The current IPv4 protocol occupies a dominant position; therefore, the challenges of the evolution to IPv6 and network security are faced by data communication systems of the smart distribution grid. The importance of data communications network and its main bearer of business were described. The data communications network from IPv4 to IPv6 evolution of the five processes and four stages of the transition were analyzed. The smart distribution grid data communications network security and types of their offensive and defensive were discussed. And the data communications network security architecture was established. It covers three dimensions, the security level, the communications network security engineering and the communications network security management. The security architecture safeguards the evolution to IPv6 for the smart distribution grid data communication systems. 展开更多
关键词 Smart distribution grid data communication NETWORK IPV6 transition evolvement safety threaten security architecture.
下载PDF
一种改进的分布式ETL体系结构 被引量:5
8
作者 夏秀峰 张亮 +1 位作者 石祥滨 徐蕾 《计算机应用与软件》 CSCD 2010年第4期174-176,共3页
在分析了分布式数据仓库数据一致性维护的重要性,以及目前分布式ETL(Extract,transform and load)中存在问题的基础上,针对传统ETL体系结构对分布式数据仓库一致性维护的不足,提出一种新的分布式ETL的体系结构ETLM,并详细描述了数据一... 在分析了分布式数据仓库数据一致性维护的重要性,以及目前分布式ETL(Extract,transform and load)中存在问题的基础上,针对传统ETL体系结构对分布式数据仓库一致性维护的不足,提出一种新的分布式ETL的体系结构ETLM,并详细描述了数据一致性维护模块(M模块)的设计与实现。ETLM的体系结构免去了分布式数据仓库需要专门进行一致性维护的额外负担,可以更加正确、快捷、高效地支持OLAP。 展开更多
关键词 分布式etl 体系结构 分布式数据仓库
下载PDF
基于CEP引擎的配电网运行监控信号大数据ETL方法 被引量:14
9
作者 葛贤军 艾明浩 +2 位作者 李志宏 汪旭 陈乃仕 《电工电能新技术》 CSCD 北大核心 2017年第9期36-42,共7页
电力系统规模在不断扩大,配电网电气设备数量急剧增长且趋于精细化。大量且散乱的运行监控数据使得主动配电网各应用无法快速有效地提取有用信息以形成决策支持。本文利用复杂事件处理(CEP)引擎作为运行监控信号处理核心,通过Apriori机... 电力系统规模在不断扩大,配电网电气设备数量急剧增长且趋于精细化。大量且散乱的运行监控数据使得主动配电网各应用无法快速有效地提取有用信息以形成决策支持。本文利用复杂事件处理(CEP)引擎作为运行监控信号处理核心,通过Apriori机器学习算法定义和完善规则库,通过核心算法库对信号数据流进行规范化处理。整体采用ETL(Extract-Transform-Load)框架,将主动配电网中分散、零乱、标准不统一的信号数据整合、清洗后加载到数据仓库,并以多种数据接口输出至不同介质,供不同应用调用。基于CEP引擎的大数据ETL方法,可对运行监控信号进行快速、精确、有效的规范化处理,实现多数据源集成与输出,为主动配电网设备仿真、故障分析、状态估计等多种重要应用提供数据准备。 展开更多
关键词 CEP引擎 运行监控 大数据 etl 主动配电网 规范化
下载PDF
基于Spark的并行ETL 被引量:7
10
作者 丁祥武 解书亮 李继云 《计算机工程与设计》 北大核心 2017年第9期2580-2585,共6页
针对大数据中的"海量"特征,基于Spark研究并行ETL技术的相关内容,提出并设计一种分布式ETL方案,对不同的转换处理分别采用对应的并行方法。针对一般的非聚集处理,如常见的数据清洗、数据格式标准化处理,采用基于分区的并行管... 针对大数据中的"海量"特征,基于Spark研究并行ETL技术的相关内容,提出并设计一种分布式ETL方案,对不同的转换处理分别采用对应的并行方法。针对一般的非聚集处理,如常见的数据清洗、数据格式标准化处理,采用基于分区的并行管道处理算法,使数据处理在分区单元中快速完成,提高数据转换的效率;对于相应的聚集处理,如数据仓库中常见的数值数据的聚合处理,使用分区预聚合方式,最大限度降低数据传输的频次。相关实验结果表明,两种并行处理方法能够有效提高分布式ETL的处理效率和性能,加速大数据量的转换过程。 展开更多
关键词 大数据 数据仓库 抽取、转换、加载 转换处理 分布式 火花大数据平台
下载PDF
基于结构图的ETL过程建模方法 被引量:5
11
作者 张忠平 赵瑞珍 《计算机应用研究》 CSCD 北大核心 2008年第11期3354-3356,共3页
ETL是数据仓库获得高质量数据的重要环节,在数据仓库建设过程中占有极其重要的地位。为了便于ETL过程的设计、维护和修改,提出一种基于结构图的ETL过程建模方法,并依据该方法完成了ETL概念模型的设计。通过图形化ETL过程中的元素和关联... ETL是数据仓库获得高质量数据的重要环节,在数据仓库建设过程中占有极其重要的地位。为了便于ETL过程的设计、维护和修改,提出一种基于结构图的ETL过程建模方法,并依据该方法完成了ETL概念模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了数据的来源和流向、源数据与目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和ETL过程的编码实现,使整个ETL设计过程更加方便、灵活。 展开更多
关键词 数据仓库 抽取转换加载 结构图 模型
下载PDF
基于分布式数据仓库技术的ETL系统的研究与应用 被引量:7
12
作者 花海洋 李一凡 赵怀慈 《微计算机信息》 北大核心 2006年第10X期144-146,209,共4页
ETL系统是构建和维护数据仓库的基本构件,由于要处理海量数据和访问各种异构数据源,如何同时具有高效的数据处理能力和通用的数据源访问能力是值得研究的问题。本文针对某银行数据仓库项目的实际需求,提出了基于分布式数据仓库的ETL系统... ETL系统是构建和维护数据仓库的基本构件,由于要处理海量数据和访问各种异构数据源,如何同时具有高效的数据处理能力和通用的数据源访问能力是值得研究的问题。本文针对某银行数据仓库项目的实际需求,提出了基于分布式数据仓库的ETL系统,并使用了XML技术实现异构数据源的通用接口访问方式。系统运行表明该解决方案具有好的使用效果。 展开更多
关键词 etl 分布式数据仓库 数据挖掘
下载PDF
结构图ETL概念模型的设计方法 被引量:3
13
作者 张忠平 赵瑞珍 《计算机工程与应用》 CSCD 北大核心 2009年第6期161-164,共4页
ETL过程是数据仓库获得高质量数据的重要环节,是任何数据仓库工程不可缺少的成功因素。为了便于ETL过程的设计和维护,降低ETL过程的设计、维护代价,提出一种基于结构图的ETL概念模型设计方法,给出一个用于描述ETL过程的模型,并基于CWM... ETL过程是数据仓库获得高质量数据的重要环节,是任何数据仓库工程不可缺少的成功因素。为了便于ETL过程的设计和维护,降低ETL过程的设计、维护代价,提出一种基于结构图的ETL概念模型设计方法,给出一个用于描述ETL过程的模型,并基于CWM完成用以存储元数据的ETL元模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了各个源数据库与目标数据仓库的内部结构和组成、数据的来源与流向、源数据和目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和编码实现,使整个ETL的设计与维护过程更加方便、灵活、有效。 展开更多
关键词 数据仓库 数据抽取 转换 加载 结构图 概念模型
下载PDF
分布式环境下ETL系统的优化策略研究 被引量:1
14
作者 陈盛荣 刘广钟 《现代计算机(中旬刊)》 2016年第8期39-42,80,共5页
ETL是将数据由不同数据源抽取到数据仓库的重要过程,ETL的过程设计、维护和修改直接影响数据仓库中数据处理的效率和数据的质量。通过分析ETL活动的模型特点,结合分布式计算的思想提出一种新的ETL系统模型,并提出基于该系统架构的满足ET... ETL是将数据由不同数据源抽取到数据仓库的重要过程,ETL的过程设计、维护和修改直接影响数据仓库中数据处理的效率和数据的质量。通过分析ETL活动的模型特点,结合分布式计算的思想提出一种新的ETL系统模型,并提出基于该系统架构的满足ETL任务形态特征的优化方案,详细描述数据以及调度信息在系统中的周转过程。 展开更多
关键词 数据仓库 分布式系统 抽取转换加载(etl)
下载PDF
基于MAS的分布式ETL模型 被引量:6
15
作者 徐艳华 郭朝珍 《郑州大学学报(理学版)》 CAS 2007年第4期118-121,共4页
提出了基于MAS的分布式ETL模型,该模型将数据处理分配到多计算服务器,利用Agent的协作性、主动性、反应性和交互性,控制多计算服务器的协同处理来提高系统计算能力.与原有的ETL工具相比,该模型不仅可以提高ETL流程的运行效率,而且充分... 提出了基于MAS的分布式ETL模型,该模型将数据处理分配到多计算服务器,利用Agent的协作性、主动性、反应性和交互性,控制多计算服务器的协同处理来提高系统计算能力.与原有的ETL工具相比,该模型不仅可以提高ETL流程的运行效率,而且充分利用了企业系统中所有的服务器资源,从而降低了运行ETL服务器的硬件成本. 展开更多
关键词 数据仓库 数据抽取 数据转换 数据加载 etl 分布式计算 AGENT MAS
下载PDF
分布式ETL负载均衡策略研究 被引量:1
16
作者 张亮 夏秀峰 《计算机与现代化》 2011年第9期201-204,共4页
在分析分布式ETL中负载均衡重要性的基础上,针对传统ETL应用于分布式数据仓库中效率低的缺陷,提出一种根据ETL节点所抽取的数据类型不同对分布式ETL节点抽取的数据进行分割的策略,以及一种新的负载均衡模型—链网模型和Routers相结合的R... 在分析分布式ETL中负载均衡重要性的基础上,针对传统ETL应用于分布式数据仓库中效率低的缺陷,提出一种根据ETL节点所抽取的数据类型不同对分布式ETL节点抽取的数据进行分割的策略,以及一种新的负载均衡模型—链网模型和Routers相结合的R-CN模型。在此基础上提出一种基于ETL数据分片和R-CN模型相结合的分布式ETL节点负载调度和均衡策略。此策略使ETL节点的数据处理能力有了很大的提高,有效地提高了分布式ETL的效率。 展开更多
关键词 分布式数据仓库 etl 数据分割 负载均衡
下载PDF
基于Spark分布式ETL在海量后勤数据的应用 被引量:3
17
作者 张野 姚文明 《信息技术》 2019年第12期165-168,共4页
在处理某大型企业的海量后勤大数据时,传统的基于MapReduce的ETL技术在数据提取、转换过程中,因为频繁进行磁盘读取的原因,存在数据处理效率不足的问题。考虑到Spark是基于内存操作的计算引擎,不依赖于磁盘操作,对数据的提取、转换效率... 在处理某大型企业的海量后勤大数据时,传统的基于MapReduce的ETL技术在数据提取、转换过程中,因为频繁进行磁盘读取的原因,存在数据处理效率不足的问题。考虑到Spark是基于内存操作的计算引擎,不依赖于磁盘操作,对数据的提取、转换效率的提升有一定帮助,因此文中采用了基于Spark的分布式ETL技术来处理这些海量数据,并通过实验进行效率比较。 展开更多
关键词 大数据 SPARK etl 分布式
下载PDF
异构调度环境下ETL工作流监控系统的设计与实现 被引量:2
18
作者 王洪彬 王纯 《电信工程技术与标准化》 2016年第12期61-65,共5页
本文提出一种分布式ETL在异构调度环境下的工作流统一监控方法。通过对异构调度系统元数据的提取和抽象,采用增量抽取和跟踪监控对象的方式,通过网络消息传送将监控对象加载到监控数据中心并统一管理,实现了分布式ETL工作流在异构调度... 本文提出一种分布式ETL在异构调度环境下的工作流统一监控方法。通过对异构调度系统元数据的提取和抽象,采用增量抽取和跟踪监控对象的方式,通过网络消息传送将监控对象加载到监控数据中心并统一管理,实现了分布式ETL工作流在异构调度环境下的的全局监控,提高了数据恢复能力和仓库的数据质量。 展开更多
关键词 数据仓库 分布式etl Oozie 调度监控
下载PDF
面向电信网数据的ETL系统的设计与实现 被引量:1
19
作者 安轲 马宏 +1 位作者 李英乐 刘树新 《信息工程大学学报》 2020年第4期442-447,共6页
电信网数据常分布在若干个独立的信息系统中,具有数据量大、数据结构差异大等特点,数据如何从各个数据源汇聚到目的仓库中成为数据分析的基础,需要数据处理工具ETL(Extract-Transform-Load)。传统的ETL工具难以满足电信数据的分析要求,... 电信网数据常分布在若干个独立的信息系统中,具有数据量大、数据结构差异大等特点,数据如何从各个数据源汇聚到目的仓库中成为数据分析的基础,需要数据处理工具ETL(Extract-Transform-Load)。传统的ETL工具难以满足电信数据的分析要求,为此结合Hadoop生态圈设计一种基于Spark的分布式ETL系统,通过设计批处理层和流处理层可以对电信网中的历史数据和流数据分别进行数据转换。测试结果表明,该系统在处理电信网大数据时具有较好的性能,同时可以动态地监控管理ETL任务。 展开更多
关键词 电信网数据 etl 分布式 SPARK
下载PDF
基于ETL及XML技术的分布式数据库多层数据同步机制研究 被引量:8
20
作者 刘雅莉 《电子设计工程》 2022年第16期36-40,共5页
为了提升分布式数据库多层次之间的数据同步效率,提高数据的共享及复用性,分析了主流的同步机制,选用数据仓库的ETL及XML技术,采用触发器与时间戳相结合的方式实现变更数据的增量抽取,利用Range关键字标记实现断点续传,采用XML技术实现... 为了提升分布式数据库多层次之间的数据同步效率,提高数据的共享及复用性,分析了主流的同步机制,选用数据仓库的ETL及XML技术,采用触发器与时间戳相结合的方式实现变更数据的增量抽取,利用Range关键字标记实现断点续传,采用XML技术实现文件与数据库表之间的正反向映射转换。经过实例数据验证可知,随着同步数据量级的增长多层异构数据同步模型时延一直控制在5μs以内,性能优异且无数据丢失的现象,为分布式数据库多层级之间的数据同步提供了可参考方案。 展开更多
关键词 分布式数据库 数据同步 etl XML 触发器
下载PDF
上一页 1 2 21 下一页 到第
使用帮助 返回顶部