期刊文献+
共找到73篇文章
< 1 2 4 >
每页显示 20 50 100
Application of Integrated Reorganization of Science Specimen Data Using Kettle 被引量:1
1
作者 Zhiyuan Wu Yang Mei 《Intelligent Information Management》 2019年第1期24-31,共8页
Standards and specifications are the premise of integrated reorganization of science specimen data, and data integration is the core of the reorganization. ETL [1] which is the abbreviation of extract, transform, and ... Standards and specifications are the premise of integrated reorganization of science specimen data, and data integration is the core of the reorganization. ETL [1] which is the abbreviation of extract, transform, and load [2], is very suitable for data integration. Kettle is a kind of ETL software. In this paper, it has been introduced into the integrated reorganization of science specimen data. Multi-source and heterogeneous specimen data are integrated using kettle, and good results have been achieved. It proved the effectiveness of kettle in the integrated reorganization of science specimen data. The application has practical significance, and the method can be referenced when reorganizing other resource data. 展开更多
关键词 etl KETTLE SCIENCE SPECIMEN integrATED REORGANIZATION data integration
下载PDF
基于ETL和触发器的数据采集整编复演方法研究
2
作者 潘阳 朱江 +3 位作者 钱诗君 韦涛 石进 高瀚远 《信息化研究》 2023年第1期32-37,共6页
数据整编复演对指挥信息系统优化决策、提升效能具有重要意义,逐渐成为研究热点。文章针对传统数据集中整编效率低、定制研发适应性差等问题提出一种基于ETL(Extraction,Transformation,Loading)和触发器的指挥信息系统过程数据自动采... 数据整编复演对指挥信息系统优化决策、提升效能具有重要意义,逐渐成为研究热点。文章针对传统数据集中整编效率低、定制研发适应性差等问题提出一种基于ETL(Extraction,Transformation,Loading)和触发器的指挥信息系统过程数据自动采集和整编复演方法。首先通过配置全量和增量数据抽取任务实现信息系统全过程数据自动采集引接;同时提出基于数据库触发器的数据整编模式,实现对ETL抽取到的增量数据进行伴随计算处理,平滑分散了集中整编的巨大工作量;然后构建回放复演引擎提供指挥信息系统复盘可视化呈现能力;最后通过仿真验证了该方法的整编处理效率和灵活扩展性,并且对自主可控环境有较好的兼容性。 展开更多
关键词 指挥信息系统 数据整编 复演 etl 触发器 自主可控环境
下载PDF
面向数据集成的ETL系统设计与实现 被引量:21
3
作者 钟华 冯文澜 +1 位作者 谭红星 黄涛 《计算机科学》 CSCD 北大核心 2004年第9期87-89,F004,共4页
ETL是一类用于从一个或多个业务数据库中抽取数据,进行清理转换并加截到数据仓库中的工具。这个数据抽取、转换和加载的过程能够很好地应用于数据集成领域中,实现不同机构之间数据的交换与整合。通过分析数据集成的一些特点,我们提出了... ETL是一类用于从一个或多个业务数据库中抽取数据,进行清理转换并加截到数据仓库中的工具。这个数据抽取、转换和加载的过程能够很好地应用于数据集成领域中,实现不同机构之间数据的交换与整合。通过分析数据集成的一些特点,我们提出了一个ETL过程模型,开发了一个面向数据集成的ETL系统DataIntegrator。本文对ETL过程模型、系统总体结构及若干关键技术进行论述。DataIntegrator已经应用于信息系统的建设中,为企业应用集成提供了很好的支持。 展开更多
关键词 etl 数据集成 过程模型 数据抽取 企业应用集成 数据仓库 转换 系统总体结构 业务数据 信息系统
下载PDF
数据ETL工具通用框架设计 被引量:26
4
作者 周宏广 周继承 +1 位作者 彭银桥 龙思锐 《计算机应用》 CSCD 北大核心 2003年第12期96-98,共3页
异构多数据源集成和数据清洗是将操作数据导入数据仓库过程中面临的两大挑战。从实践角度设计了数据ETL工具的整体框架,使用通用数据访问接口来屏蔽各种数据源之间的差异,并以数据清洗为主要目的,为消除多数据源的模式冲突和数据冲突提... 异构多数据源集成和数据清洗是将操作数据导入数据仓库过程中面临的两大挑战。从实践角度设计了数据ETL工具的整体框架,使用通用数据访问接口来屏蔽各种数据源之间的差异,并以数据清洗为主要目的,为消除多数据源的模式冲突和数据冲突提供了通用而有效的解决方案。 展开更多
关键词 数据etl 数据集成 数据清洗
下载PDF
ETL综述 被引量:23
5
作者 缪嘉嘉 邓苏 刘青宝 《计算机工程》 CAS CSCD 北大核心 2004年第3期4-5,21,共3页
阐述了ETL在创建数据仓库过程中的重要地位;分析了整个ETL流程,把它分为数据源验证、数据源改造、一般性变换、装载目标表和数据聚合5个阶段。最后分析了ETL产品现状、现有ETL产品的功能特点,以及今后ETL产品的发展趋势。
关键词 抽取转换和加载 数据仓库 数据集成 元数据
下载PDF
基于ETL的数据集成优化研究与实现 被引量:10
6
作者 王世水 王元元 高应波 《天津工业大学学报》 CAS 北大核心 2013年第3期78-81,共4页
通过分析数据源的数据量和异构数据库系统环境等情况,提出基于ETL技术的异构数据集成优化方案.对实验验证数据与现有集成方法进行对比和效能评估得出结果:该解决方案对异构数据源的集成效率较高,尤其是针对海量数据效果尤其明显.
关键词 异构数据 etl 数据集成 XML
下载PDF
基于ETL-KETTLE的贵州卷烟营销大数据分析及可视化 被引量:19
7
作者 郭丹 樊红 《计算机系统应用》 2017年第1期74-80,共7页
为了实现对贵州卷烟销售大数据的分析及可视化,基于开源数据分析工具KETTLE构建了ETL过程模型,对现有的卷烟销售基础大数据进行抽取、转换、加载,形成分析型数据,快速高效地实现了数据集成.经过ETL处理的集成数据,为卷烟销售大数据可视... 为了实现对贵州卷烟销售大数据的分析及可视化,基于开源数据分析工具KETTLE构建了ETL过程模型,对现有的卷烟销售基础大数据进行抽取、转换、加载,形成分析型数据,快速高效地实现了数据集成.经过ETL处理的集成数据,为卷烟销售大数据可视化系统及进一步的数据挖掘、决策支持提供了数据基础.同时,采用GIS平台构建和可视化技术,设计并实现了卷烟销售大数据可视化分析系统,为企业的数据分析和决策支持提供了数据展示及分析平台. 展开更多
关键词 etl KETTLE 数据集成 GIS 可视化
下载PDF
高校数据集成系统的ETL设计与实现 被引量:7
8
作者 王晓虹 刘莹 张艳凤 《计算机技术与发展》 2011年第7期186-189,共4页
高校数字化校园建设是高校教育信息化发展的一项重要任务。由于高校普遍采用不同的数据库系统来管理学校的一切事务,致使信息存在大量的冗余、不一致,乃至"信息孤岛"的现象,从而严重制约了高校的信息化的建设。基于ETL的数据... 高校数字化校园建设是高校教育信息化发展的一项重要任务。由于高校普遍采用不同的数据库系统来管理学校的一切事务,致使信息存在大量的冗余、不一致,乃至"信息孤岛"的现象,从而严重制约了高校的信息化的建设。基于ETL的数据集成技术能够很好地解决这个难题。以高校集成数字校园平台建设为背景,提出了高校数据集成系统中基于ETL平台的建设方案。系统将ETL技术与传统的数据集成技术相结合,采用适配器技术和中间件技术,处理大批量的历史数据、实时处理小批量的变化的数据,全方位地满足用户对所有数据处理的需求,解决了异构数据集成和共享问题。 展开更多
关键词 etl 数据集成 实时抽取
下载PDF
基于ETL技术的企业信息集成研究 被引量:5
9
作者 夏榆滨 黄善琦 《微计算机信息》 北大核心 2006年第11X期190-192,共3页
本文研究了数据仓库ETL技术,并将ETL技术运用在企业信息集成过程中。本文以PDM和ERP系统为研究对象,阐述了ETL用于数据集成的方法、过程和集成架构。开发了可视化集成开发ETL工具,利用该工具从PDM系统中获取产品结构数据,实现PDM和ERP... 本文研究了数据仓库ETL技术,并将ETL技术运用在企业信息集成过程中。本文以PDM和ERP系统为研究对象,阐述了ETL用于数据集成的方法、过程和集成架构。开发了可视化集成开发ETL工具,利用该工具从PDM系统中获取产品结构数据,实现PDM和ERP系统的数据集成。运用ETL技术能够简化企业信息集成开发,具有低耦合性、易于扩展的特点。 展开更多
关键词 etl 元模型 数据集成 元数据映射 数据转换
下载PDF
基于模型驱动的ETL模型映射方法 被引量:1
10
作者 姚全珠 白敏 黄蔚 《计算机工程》 CAS CSCD 北大核心 2009年第19期91-93,96,共4页
针对AP模型的特点,给出元模型中对象的形式化定义,优化模型映射算法,提出一种基于模型驱动、从概念模型到逻辑模型的映射方法。改进后的算法能够映射基于数据抽取-加载-转换(ETL)工作流的单源数据或多源数据,并发执行各状态节点,提高了... 针对AP模型的特点,给出元模型中对象的形式化定义,优化模型映射算法,提出一种基于模型驱动、从概念模型到逻辑模型的映射方法。改进后的算法能够映射基于数据抽取-加载-转换(ETL)工作流的单源数据或多源数据,并发执行各状态节点,提高了执行的效率。实验结果表明,该方法为模型驱动式ETL设计及数据集成中快速实现ETL奠定了良好基础。 展开更多
关键词 数据抽取-加载-转换技术 逻辑模型 概念模型 数据集成
下载PDF
基于ETL技术的不动产数据整合策略研究 被引量:24
11
作者 黄云康 《地理空间信息》 2017年第6期22-25,30,共5页
开展不动产统一登记业务,保障不动产统一登记平稳、全面、快速推进,需要建立不动产统一登记应用数据库体系。以房、地存量登记数据整合为例,通过对分散登记时代的多源异构房、地登记数据的分析,结合数据库ETL技术,建立ETL数据整合模型,... 开展不动产统一登记业务,保障不动产统一登记平稳、全面、快速推进,需要建立不动产统一登记应用数据库体系。以房、地存量登记数据整合为例,通过对分散登记时代的多源异构房、地登记数据的分析,结合数据库ETL技术,建立ETL数据整合模型,以地籍数据为基础、宗地统一编码为索引,对存量不动产登记数据进行整理、清洗、转换编码、装载入库,建立内容完整、逻辑一致的不动产登记数据库,支撑不动产统一登记业务和不动产登记信息依法查询。 展开更多
关键词 不动产统一登记 数据整合 etl 存量数据
下载PDF
基于ETL技术的电网运行全景建模 被引量:2
12
作者 梁寿愚 周华锋 李矛 《南方电网技术》 2012年第4期53-56,共4页
在南方电网开展的一体化电网运行智能系统研究和建设中,针对电力二次系统数据的多样性和孤立性现状,提出了利用ETL技术处理信息共享的方案。该方案将多系统模型数据抽取、转换并集成到统一的电网全景模型中为多系统所共用,其正确性和有... 在南方电网开展的一体化电网运行智能系统研究和建设中,针对电力二次系统数据的多样性和孤立性现状,提出了利用ETL技术处理信息共享的方案。该方案将多系统模型数据抽取、转换并集成到统一的电网全景模型中为多系统所共用,其正确性和有效性在实践中得到了验证。 展开更多
关键词 电网运行智能系统 数据集成 全景模型 etl技术
下载PDF
ETL多数据流并行抽取系统的设计与实现 被引量:2
13
作者 崔英敏 魏文国 谢桂园 《广东技术师范学院学报》 2015年第8期47-50,共4页
针对传统ETL数据抽取的低效,设计实现了一种ETL多数据流并行抽取系统,对异构平台及各种类型的数据源进行多数据流并行抽取,扩展了ETL现有的系统架构,为今后对海量数据的处理提供了一种新的思路并将依此开发的ETL工具应用到"广州市... 针对传统ETL数据抽取的低效,设计实现了一种ETL多数据流并行抽取系统,对异构平台及各种类型的数据源进行多数据流并行抽取,扩展了ETL现有的系统架构,为今后对海量数据的处理提供了一种新的思路并将依此开发的ETL工具应用到"广州市社会治安智能分析系统"项目上,发现对数据的抽取效率有明显提高. 展开更多
关键词 etl 数据集成 多数据流 并行抽取
下载PDF
基于数据仓库的ETL过程优化 被引量:13
14
作者 彭璐 《计算机与数字工程》 2010年第5期166-169,共4页
提出一种优化ETL整体过程的方法,包括:其一,针对现有ETL过程的局限性提出一个优化其整体流程的框架EICLF(Extracting/Integrating/Cleaning/Loading/Feedback)流程;其二,对现有相似重复记录的识别算法进行改进;其三,根据清理后得到的干... 提出一种优化ETL整体过程的方法,包括:其一,针对现有ETL过程的局限性提出一个优化其整体流程的框架EICLF(Extracting/Integrating/Cleaning/Loading/Feedback)流程;其二,对现有相似重复记录的识别算法进行改进;其三,根据清理后得到的干净数据对源数据进行反馈处理。 展开更多
关键词 数据仓库 etl 数据清理 数据集成 EICLF
下载PDF
小微企业数据整合中ETL工具Kettle的应用 被引量:7
15
作者 李云松 《菏泽学院学报》 2014年第2期19-22,共4页
针对当前小微企业在信息化建设过程中存在的数据存储分散、数据格式各异等问题,从企业对数据应用的实际需求出发,探讨了用ETL工具——开源软件Kettle进行企业数据整合的方法,并结合实际进行了数据整合.
关键词 etl KETTLE 小微企业 数据整合
下载PDF
数据ETL过程中的模式集成技术研究 被引量:4
16
作者 刘浩 周宏广 《湘潭师范学院学报(自然科学版)》 2004年第3期53-56,共4页
阐述了在数据ETL(DataExtraction ,TransformationandLoading)中造成模式冲突的主要原因是不同的数据源可能采用不同的数据模型来表达 ;分析了常用模式集成方法 ,并比较了它们的优缺点 ;结合常用集成方法中的优点 ,设计了交互式的模式... 阐述了在数据ETL(DataExtraction ,TransformationandLoading)中造成模式冲突的主要原因是不同的数据源可能采用不同的数据模型来表达 ;分析了常用模式集成方法 ,并比较了它们的优缺点 ;结合常用集成方法中的优点 ,设计了交互式的模式集成框架。该框架解决了较难的语义冲突问题 。 展开更多
关键词 模式集成技术 数据库 集成模式 人工智能方法 元数据方法
下载PDF
数据ETL问题研究 被引量:4
17
作者 王新英 《湖南工程学院学报(自然科学版)》 2004年第3期63-65,共3页
数据ETL(DataExtraction,TransformationandLoading)是数据仓库、数据挖掘以及商业智能等技术的基石,其主要用来实现异构多数据源的数据集成.首先简单介绍了ETL概念、背景、应用领域,然后着重讨论了ETL在异构数据源集成和脏数据检测中... 数据ETL(DataExtraction,TransformationandLoading)是数据仓库、数据挖掘以及商业智能等技术的基石,其主要用来实现异构多数据源的数据集成.首先简单介绍了ETL概念、背景、应用领域,然后着重讨论了ETL在异构数据源集成和脏数据检测中的应用、所面临的挑战等问题.最后总结介绍了ETL的三大发展趋势. 展开更多
关键词 etl 数据集成 etl展望
下载PDF
ETL在科学标本数据规范化集成整编中的应用
18
作者 吴志远 杨眉 +1 位作者 何明跃 施爽 《中国科技资源导刊》 2017年第5期68-73,81,共7页
在科学标本数据的规范化集成整编中,标准和规范是前提,资源数据的整合、集成是核心。ETL技术能够实现对数据的抽取、转换和装载。本文将其引入到科学标本数据规范化集成整编中,实现对多源的、异构的标本数据的汇集和整合,并以岩矿化石... 在科学标本数据的规范化集成整编中,标准和规范是前提,资源数据的整合、集成是核心。ETL技术能够实现对数据的抽取、转换和装载。本文将其引入到科学标本数据规范化集成整编中,实现对多源的、异构的标本数据的汇集和整合,并以岩矿化石标本数据集成整编为例进行应用实践,取得了较好的应用效果,证明了应用ETL技术实现标本数据规范化集成整编的有效性。该方法具有一定的实践借鉴意义,可为其他资源数据的规范化集成整编提供一定的科学参考。 展开更多
关键词 etl 科学标本 数据集成整编 数据整合 KETTLE
下载PDF
ETL在高校数据集成中的应用 被引量:1
19
作者 杨金 《信息与电脑》 2021年第11期186-188,共3页
ETL(Extraction Transformation Loading)主要用来实现异构多数据源的数据集成,是数据仓库、数据挖掘以及商业智能等技术的基石。笔者探讨了ETL在高校数据集成中的应用,首先阐述了ETL的设计策略及实现方法,进而提出以Kettle为基础,通过... ETL(Extraction Transformation Loading)主要用来实现异构多数据源的数据集成,是数据仓库、数据挖掘以及商业智能等技术的基石。笔者探讨了ETL在高校数据集成中的应用,首先阐述了ETL的设计策略及实现方法,进而提出以Kettle为基础,通过对异构子系统的抽取、转换形成共享数据,最后通过实际的实施案例验证ETL的可靠性及其优势。 展开更多
关键词 etl KETTLE 数据仓库 数据集成
下载PDF
Organizational Data Management: Proposing a Metadata-Driven Data Warehouse (DW) Model
20
作者 Cezar Liviu Cervinschi Diana Butucea 《Journal of Modern Accounting and Auditing》 2012年第12期1898-1905,共8页
Discussing the matter of organizational data management implies, almost automatically, the concept of data warehousing as one of the most important parts of decision support system (DSS), as it supports the integrat... Discussing the matter of organizational data management implies, almost automatically, the concept of data warehousing as one of the most important parts of decision support system (DSS), as it supports the integration of information management by aggregating all data formats and provisioning external systems with consistent data content and flows, together with the metadata concept, as one of the easiest ways of integration for software and database systems. Since organizational data management uses the metadata channel for creating a bi-directional flow, when correctly managed, metadata can save both time and resources for organizations. This paperI will focus on providing theoretical aspects of the two concepts, together with a short brief over a proposed model of design for an organizational management tool. 展开更多
关键词 data warehouse (DW) data management METAdata business intelligence extract-transform-load (etl
下载PDF
上一页 1 2 4 下一页 到第
使用帮助 返回顶部