期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
41
篇文章
<
1
2
3
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于ETL技术的多源异构数据融合方法研究
1
作者
杨国立
姜树明
《齐鲁工业大学学报》
CAS
2024年第4期18-24,共7页
在多源大数据融合阶段处理历年异构的数据时,涉及到多指标和多维度的问题,需要清洗、转换、映射和对齐等操作。相关数据处理工具和方法逐步涌现,但仍难以解决大量数据的交叉融合问题。为此,研究了基于ETL技术的多源异构数据融合方法,分...
在多源大数据融合阶段处理历年异构的数据时,涉及到多指标和多维度的问题,需要清洗、转换、映射和对齐等操作。相关数据处理工具和方法逐步涌现,但仍难以解决大量数据的交叉融合问题。为此,研究了基于ETL技术的多源异构数据融合方法,分析了常用的ETL工具和数据融合技术,包括数据抽取、转换、加载工具以及数据处理算法。分析了面向灵活需求、业务交叉较多和实时数据流场景时,遇到的数据源异构、数据结构差异、数据更新频率困难等问题,并从模块化设计、逻辑和参数分离、标准化构件库、轻量级JSON格式的配置文件等方面研究了ETL工具模块化扩展和构件重复使用的方法,以便更好地处理大规模异构数据。解决了多源大数据融合阶段的交叉融合问题,对提高数据处理效率、确保数据质量以及支持更深入的数据分析和决策具有重要意义。
展开更多
关键词
教育统计
数据挖掘
转换
-
抽取
-
加
载
软件工程
下载PDF
职称材料
动态载荷模拟可控加载与测试装置设计
被引量:
4
2
作者
鲁文其
周延锁
刘虎
《机电工程》
CAS
2015年第2期185-189,共5页
针对目前国内普遍采用的加载装置只具备手动控制功能的问题,阐述了大功率设备驱动系统的动态载荷负载特性,提出了一套模拟可控加载与测试装置的整体设计方案。设计了基于磁粉离合器和永磁同步电机的机械加载装置、上位机控制界面、基于F...
针对目前国内普遍采用的加载装置只具备手动控制功能的问题,阐述了大功率设备驱动系统的动态载荷负载特性,提出了一套模拟可控加载与测试装置的整体设计方案。设计了基于磁粉离合器和永磁同步电机的机械加载装置、上位机控制界面、基于Freescale 56F8346 DSP的控制核心、基于电力电子技术的电机驱动装置、基于MAX1415的高精度电流采样、基于直流/直流转换电路的励磁电源以及基于霍尔传感器的励磁电源输出电流检测。最后开发了系统硬件和软件,并进行了实验测试。研究结果表明,所开发的装置实现了动态载荷的模拟加载及测控。该成果为大功率设备驱动系统的研究提供了一个软、硬件测试与性能分析的重要平台。
展开更多
关键词
大功率设备
动态
载
荷
可控
加
载
直流
-
直流
转换
下载PDF
职称材料
电信经营分析系统中抽取转换子系统的设计与实现
3
作者
周亚宁
《内蒙古大学学报(自然科学版)》
CAS
CSCD
北大核心
2004年第6期688-691,共4页
针对电信运营分析系统的特殊要求,仔细分析了系统的数据源情况和数据转换要求,设计并实现了一个能够完成经营分析系统数据抽取转换工具.
关键词
经营分析系统
etl
数据
抽取
数据
转换
数据
加
载
下载PDF
职称材料
面向数据质量的ETL过程建模与实现
被引量:
23
4
作者
贾自艳
黄友平
+3 位作者
罗平
李嘉佑
秦亮曦
史忠植
《系统仿真学报》
CAS
CSCD
2004年第5期907-911,914,共6页
为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程...
为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程统一的体系结构设计,包括ETL元数据对象建模、ETL转换函数设计、ETL任务建模以及ETL任务模型的描述语言(XTDL)。基于该体系结构和设计思想开发出一个ETL系统—MSETL,目的是为多策略数据挖掘平台(MSMiner)提供高质量的数据。它提供友好界面并对ETL过程进行统一的元数据管理,包括:ETL转换函数的注册和删除;任务模型的生成、执行和删除等功能。
展开更多
关键词
数据仓库
数据质量
抽取
-
转换
-
装
载
(
etl
)
数据挖掘
数据清洗
下载PDF
职称材料
一种标准的ETL的设计思想及其实现
被引量:
14
5
作者
程跟上
郑洪源
丁秋林
《计算机应用研究》
CSCD
北大核心
2005年第3期101-103,共3页
元数据在数据仓库系统中占据着十分重要的地位,其中存放着许多重要的信息,尤其是对于数据仓库的ETL过程,可以说是ETL的指挥中心。提出了以CWM元数据模型标准为基础来开发标准的ETL的设计思想,并描述了具体的开发步骤。
关键词
etl
CWM
抽取
元数据
转换
元数据
加
载
元数据
下载PDF
职称材料
数据仓库ETL元模型设计
被引量:
9
6
作者
宋旭东
闫晓岚
+1 位作者
刘晓冰
杨莉国
《计算机仿真》
CSCD
北大核心
2010年第9期106-108,119,共4页
针对传统的ETL(Extract/Transform/Load)开发方法难以满足企业的决策需求,复杂性和高效性是ETL开发面临的两大主要问题。为此,在数据仓库系统统一集成建模框架下,为提高管理质量和快速性,提出一种数据仓库ETL元模型设计方法,取代了以往...
针对传统的ETL(Extract/Transform/Load)开发方法难以满足企业的决策需求,复杂性和高效性是ETL开发面临的两大主要问题。为此,在数据仓库系统统一集成建模框架下,为提高管理质量和快速性,提出一种数据仓库ETL元模型设计方法,取代了以往在特定的数据仓库中对ETL建模的方法,使得ETL过程较早地进入数据仓库设计阶段,实现了ETL与数据仓库在概念层上的无缝融合,减少了开发时间和成本代价。最后通过模型实际应用,验证了方法的可行性和高效性。
展开更多
关键词
数据仓库
抽取
-
转换
-
加
载
统一建模语言扩展
元模型
下载PDF
职称材料
面向数据质量的ETL框架的设计与实现
被引量:
20
7
作者
李庆阳
彭宏
《计算机工程与设计》
CSCD
北大核心
2010年第9期2057-2060,共4页
针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构。根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等。该架构以数据质量为核心,通过建...
针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构。根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等。该架构以数据质量为核心,通过建立数据分析模型,利用规则推导引擎对数据分析结果生成数据清洗方案,从而有效地对数据流进行质量评估和管理。基于该设计思想开发一个ETL工具-DQETL。DQETL采用统一建模语言进行设计,并提供友好界面对ETL过程进行集中管理。最后,结合实例阐述了在该框架下进行数据质量管理的一般步骤。
展开更多
关键词
数据仓库
数据质量
抽取
-
转换
-
装
载
(
etl
)
规则推导
数据清洗
下载PDF
职称材料
基于关键属性比对的增量数据抽取方法
被引量:
4
8
作者
刘胜
杨岳湘
+1 位作者
邓劲生
李阳
《计算机工程与应用》
CSCD
2012年第4期115-117,共3页
概述了ETL目前常用的增量数据抽取方法,在全表比对方法基础上,提出了基于关键属性比对的增量数据提取方法,描述了关键属性提取算法,并建立其模型,用实验验证了基于关键属性比对的方法优于全表比对方法和全表删除插入方法。
关键词
关键属性
增量数据
抽取
全表比对
提取
转换
加
载
(
etl
)
下载PDF
职称材料
基于语义树的非结构化年鉴Excel表格的ETL方法
被引量:
2
9
作者
赵乐
赵宏宇
+1 位作者
刘斌
陈彦如
《计算机应用》
CSCD
北大核心
2021年第S02期131-135,共5页
针对计算机程序在对海量Excel表格中的中国城市年鉴数据进行抽取-转换-加载(ETL)时由于表格的非结构化格式导致的准确率和查全率较低的问题,提出了一种基于语义树的ETL方法。首先,通过数据与表格行名、列名的对应关系分别建立两棵语义...
针对计算机程序在对海量Excel表格中的中国城市年鉴数据进行抽取-转换-加载(ETL)时由于表格的非结构化格式导致的准确率和查全率较低的问题,提出了一种基于语义树的ETL方法。首先,通过数据与表格行名、列名的对应关系分别建立两棵语义树模型,利用两棵语义树生成包含数据项以及数据项所属行名、列名的元数据集合;然后,通过正则表达式对每个元数据所属行名、列名进行语义匹配,从该集合中删除不需要的分项或汇总项元数据;接着,通过三种基于字典的过滤策略进一步做数据清洗,将剩余的元数据导入到数据仓库中;最后,从总量30万个统计年鉴表格中随机抽取604个进行程序ETL与人工ETL对比,实验结果表明,所提出的程序ETL可达到人工ETL86.51%的准确率和95.15%的查全率,可以满足考察地方发展现状、编制和发展未来规划的需求。
展开更多
关键词
EXCEL表格
抽取
-
转换
-
加
载
语义树
正则表达式
数据仓库
下载PDF
职称材料
基于大数据处理的ETL框架的研究与设计
被引量:
20
10
作者
沈琦
陈博
《电子设计工程》
2016年第2期25-27,34,共4页
针对传统抽取、转换、装载(ETL)架构在数据处理过程控制方面和数据产品开发效率方面的不足,提出一种基于大数据处理的ETL架构。通过分析主流的ETL工具--Datastage的工作原理和ETL过程的特点,设计ETL元数据描述模块、ETL任务描述模块、...
针对传统抽取、转换、装载(ETL)架构在数据处理过程控制方面和数据产品开发效率方面的不足,提出一种基于大数据处理的ETL架构。通过分析主流的ETL工具--Datastage的工作原理和ETL过程的特点,设计ETL元数据描述模块、ETL任务描述模块、配置解析模块和数据任务调度模块等。使用该框架处理数据任务时,以配置文件的方式开发,使工作效率得到了极大的提升。基于该设计思想开发一款基于大数据处理的ETL工具,在对数据处理过程(E、T、L)的控制方面得到了改进,同时也可以使数据开发人员从大量重复的操作中解脱出来,将更多的精力放在数据的逻辑处理方面。
展开更多
关键词
大数据处理
数据
抽取
数据
转换
数据
加
载
etl
框架
下载PDF
职称材料
基于模型驱动的ETL模型映射方法
被引量:
1
11
作者
姚全珠
白敏
黄蔚
《计算机工程》
CAS
CSCD
北大核心
2009年第19期91-93,96,共4页
针对AP模型的特点,给出元模型中对象的形式化定义,优化模型映射算法,提出一种基于模型驱动、从概念模型到逻辑模型的映射方法。改进后的算法能够映射基于数据抽取-加载-转换(ETL)工作流的单源数据或多源数据,并发执行各状态节点,提高了...
针对AP模型的特点,给出元模型中对象的形式化定义,优化模型映射算法,提出一种基于模型驱动、从概念模型到逻辑模型的映射方法。改进后的算法能够映射基于数据抽取-加载-转换(ETL)工作流的单源数据或多源数据,并发执行各状态节点,提高了执行的效率。实验结果表明,该方法为模型驱动式ETL设计及数据集成中快速实现ETL奠定了良好基础。
展开更多
关键词
数据
抽取
-
加
载
-
转换
技术
逻辑模型
概念模型
数据集成
下载PDF
职称材料
基于MapReduce的分布式ETL调度优化方法
被引量:
2
12
作者
宋杰
郝文宁
+1 位作者
陈刚
靳大尉
《指挥信息系统与技术》
2013年第4期17-20,共4页
分析了分布式抽取-转换-加载(ETL)节点调度方法,给出了一种根据ETL节点抽取的数据类型对所抽取数据进行分割的策略,并提出了基于映射/化简(MapReduce)的分布式ETL节点调度方法。试验表明,该方法提升了ETL节点的数据处理能力,...
分析了分布式抽取-转换-加载(ETL)节点调度方法,给出了一种根据ETL节点抽取的数据类型对所抽取数据进行分割的策略,并提出了基于映射/化简(MapReduce)的分布式ETL节点调度方法。试验表明,该方法提升了ETL节点的数据处理能力,改善了整个ETL过程的吞吐率及响应时间等计算性能,从而提高了分布式ETL的效率。
展开更多
关键词
抽取
-
转换
-
加
载
映射
化简
调度
下载PDF
职称材料
面向ETL的数据起源追踪系统
被引量:
1
13
作者
戴超凡
王涛
《计算机工程》
CAS
CSCD
北大核心
2011年第17期256-258,261,共4页
提出一种面向提取-转换-加载(ETL)过程的数据起源追踪系统,讨论实现的关键技术,包括转换分类、元数据设计、转换序列构建、追踪流程设计以及不同转换的追踪方法。系统将追踪所需的元数据设计在包文件结构中,在逆向追踪时抽取元数据进行...
提出一种面向提取-转换-加载(ETL)过程的数据起源追踪系统,讨论实现的关键技术,包括转换分类、元数据设计、转换序列构建、追踪流程设计以及不同转换的追踪方法。系统将追踪所需的元数据设计在包文件结构中,在逆向追踪时抽取元数据进行相关处理,构建各个层次的转换起源信息图,从而实现数据起源的追踪。
展开更多
关键词
数据起源
起源管理系统
提取
-
转换
-
加
载
同步/异步
转换
下载PDF
职称材料
零售业数据仓库中ETL技术的研究
被引量:
1
14
作者
黄丽娟
郑雪峰
靳风荣
《计算机与现代化》
2004年第9期63-65,共3页
数据仓库中的数据不是传统数据库中数据的简单堆积,它是一个复杂的容纳数据集成的系统工程,为决策者提供访问、分析及共享信息的能力,从而发挥数据仓库的真正功效。本文针对于零售业,阐述了在零售业数据仓库系统中ETL的流程并结合实际...
数据仓库中的数据不是传统数据库中数据的简单堆积,它是一个复杂的容纳数据集成的系统工程,为决策者提供访问、分析及共享信息的能力,从而发挥数据仓库的真正功效。本文针对于零售业,阐述了在零售业数据仓库系统中ETL的流程并结合实际应用提出了在零售业数据仓库系统中的ETL过程应考虑的诸多问题及解决方案。
展开更多
关键词
零售业
数据仓库
etl
数据
抽取
数据
转换
数据清洗
数据
加
载
下载PDF
职称材料
教学管理数据仓库中ETL的实现
被引量:
1
15
作者
占小忆
《科技创新导报》
2011年第16期17-18,共2页
ETL工具从异构数据源抽取数据,并将数据清洗,规范化后装载到数据仓库。文章从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案。提出了以数据理解为根基,以清洗转换为中心...
ETL工具从异构数据源抽取数据,并将数据清洗,规范化后装载到数据仓库。文章从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案。提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出成绩管理模块的具体实施步骤。
展开更多
关键词
etl
数据仓库
数据
抽取
数据
转换
数据
加
载
下载PDF
职称材料
分布式环境下ETL系统的优化策略研究
被引量:
1
16
作者
陈盛荣
刘广钟
《现代计算机(中旬刊)》
2016年第8期39-42,80,共5页
ETL是将数据由不同数据源抽取到数据仓库的重要过程,ETL的过程设计、维护和修改直接影响数据仓库中数据处理的效率和数据的质量。通过分析ETL活动的模型特点,结合分布式计算的思想提出一种新的ETL系统模型,并提出基于该系统架构的满足ET...
ETL是将数据由不同数据源抽取到数据仓库的重要过程,ETL的过程设计、维护和修改直接影响数据仓库中数据处理的效率和数据的质量。通过分析ETL活动的模型特点,结合分布式计算的思想提出一种新的ETL系统模型,并提出基于该系统架构的满足ETL任务形态特征的优化方案,详细描述数据以及调度信息在系统中的周转过程。
展开更多
关键词
数据仓库
分布式系统
抽取
转换
加
载
(
etl
)
下载PDF
职称材料
粒子群算法在分布式ETL任务调度中的应用
被引量:
3
17
作者
王春阳
赵书良
王长宾
《计算机工程与应用》
CSCD
2013年第9期150-155,共6页
随着分布式数据环境越来越复杂,ETL工具要面临数据源多、分布地域广和海量数据等因素带来的挑战。原有的集中式ETL工作流优化理论不能满足现在复杂数据环境的要求。介绍了如何将基于置换的离散型粒子群算法应用到分布式ETL任务优化调度...
随着分布式数据环境越来越复杂,ETL工具要面临数据源多、分布地域广和海量数据等因素带来的挑战。原有的集中式ETL工作流优化理论不能满足现在复杂数据环境的要求。介绍了如何将基于置换的离散型粒子群算法应用到分布式ETL任务优化调度问题上,主要工作围绕ETL工作调度模型、算法编码设计、目标函数选择等内容来展开,给出了分布式ETL工作调度策略的实现过程和伪代码。理论分析和实验证明了实际应用的有效可行性。
展开更多
关键词
分布式
抽取
-
转换
-
加
载
(
etl
)
任务调度
基于置换的离散型粒子群算法
下载PDF
职称材料
元数据驱动ETL的研究
被引量:
5
18
作者
宿芳
寿永熙
苏依拉
《计算机工程与应用》
CSCD
2012年第6期114-118,125,共6页
对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系...
对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系统的稳定性和可靠性,使用户通过对元数据的维护来控制ETL的执行过程。
展开更多
关键词
抽取
、
转换
和
加
载
(
etl
)
数据仓库
元数据
SQL引擎
包引擎
下载PDF
职称材料
基于MAS的分布式ETL模型
被引量:
6
19
作者
徐艳华
郭朝珍
《郑州大学学报(理学版)》
CAS
2007年第4期118-121,共4页
提出了基于MAS的分布式ETL模型,该模型将数据处理分配到多计算服务器,利用Agent的协作性、主动性、反应性和交互性,控制多计算服务器的协同处理来提高系统计算能力.与原有的ETL工具相比,该模型不仅可以提高ETL流程的运行效率,而且充分...
提出了基于MAS的分布式ETL模型,该模型将数据处理分配到多计算服务器,利用Agent的协作性、主动性、反应性和交互性,控制多计算服务器的协同处理来提高系统计算能力.与原有的ETL工具相比,该模型不仅可以提高ETL流程的运行效率,而且充分利用了企业系统中所有的服务器资源,从而降低了运行ETL服务器的硬件成本.
展开更多
关键词
数据仓库
数据
抽取
数据
转换
数据
加
载
etl
分布式计算
AGENT
MAS
下载PDF
职称材料
基于多Agent与工作流的分布式ETL引擎的研究
被引量:
2
20
作者
丁进
郭朝珍
《计算机应用》
CSCD
北大核心
2009年第1期319-322,共4页
针对传统ETL工具集中式执行方式的不足,提出了一种基于多Agent与工作流相结合的分布式ETL引擎的体系结构。该体系结构由一个主控引擎和多个执行引擎组成,执行引擎可自主地向主控引擎注册执行服务,并利用分布式计算和多线程并行计算技术...
针对传统ETL工具集中式执行方式的不足,提出了一种基于多Agent与工作流相结合的分布式ETL引擎的体系结构。该体系结构由一个主控引擎和多个执行引擎组成,执行引擎可自主地向主控引擎注册执行服务,并利用分布式计算和多线程并行计算技术,实现由多个执行引擎协同执行ETL工作流,从而提高整个系统的灵活性和吞吐率。实验结果表明,该引擎具有较好的可扩展性和负载平衡性能,并提高了执行效率。
展开更多
关键词
抽取
-
转换
-
加
载
多AGENT
工作流
分布式
协同
下载PDF
职称材料
题名
基于ETL技术的多源异构数据融合方法研究
1
作者
杨国立
姜树明
机构
浪潮通用软件有限公司
齐鲁工业大学(山东省科学院)情报研究所
出处
《齐鲁工业大学学报》
CAS
2024年第4期18-24,共7页
基金
国家重点研发计划项目(2019YFB1404700)。
文摘
在多源大数据融合阶段处理历年异构的数据时,涉及到多指标和多维度的问题,需要清洗、转换、映射和对齐等操作。相关数据处理工具和方法逐步涌现,但仍难以解决大量数据的交叉融合问题。为此,研究了基于ETL技术的多源异构数据融合方法,分析了常用的ETL工具和数据融合技术,包括数据抽取、转换、加载工具以及数据处理算法。分析了面向灵活需求、业务交叉较多和实时数据流场景时,遇到的数据源异构、数据结构差异、数据更新频率困难等问题,并从模块化设计、逻辑和参数分离、标准化构件库、轻量级JSON格式的配置文件等方面研究了ETL工具模块化扩展和构件重复使用的方法,以便更好地处理大规模异构数据。解决了多源大数据融合阶段的交叉融合问题,对提高数据处理效率、确保数据质量以及支持更深入的数据分析和决策具有重要意义。
关键词
教育统计
数据挖掘
转换
-
抽取
-
加
载
软件工程
Keywords
educational statistics
data mining
extract
-
transform
-
load
software engineering
分类号
TP311.1 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
动态载荷模拟可控加载与测试装置设计
被引量:
4
2
作者
鲁文其
周延锁
刘虎
机构
浙江理工大学机械与自动控制学院
浙江大学电气工程学院
浙江省机械工业情报研究所
出处
《机电工程》
CAS
2015年第2期185-189,共5页
基金
国家自然科学基金资助项目(51307151)
浙江省自然科学基金资助项目(LY13E070005)
浙江省博士后科研择优资助项目(BSH1402065)
文摘
针对目前国内普遍采用的加载装置只具备手动控制功能的问题,阐述了大功率设备驱动系统的动态载荷负载特性,提出了一套模拟可控加载与测试装置的整体设计方案。设计了基于磁粉离合器和永磁同步电机的机械加载装置、上位机控制界面、基于Freescale 56F8346 DSP的控制核心、基于电力电子技术的电机驱动装置、基于MAX1415的高精度电流采样、基于直流/直流转换电路的励磁电源以及基于霍尔传感器的励磁电源输出电流检测。最后开发了系统硬件和软件,并进行了实验测试。研究结果表明,所开发的装置实现了动态载荷的模拟加载及测控。该成果为大功率设备驱动系统的研究提供了一个软、硬件测试与性能分析的重要平台。
关键词
大功率设备
动态
载
荷
可控
加
载
直流
-
直流
转换
Keywords
high power device
dynamic load
controllable loading
DC/DC conversion
分类号
TH86 [机械工程—精密仪器及机械]
TH69 [机械工程—机械制造及自动化]
下载PDF
职称材料
题名
电信经营分析系统中抽取转换子系统的设计与实现
3
作者
周亚宁
机构
内蒙古通信公司
出处
《内蒙古大学学报(自然科学版)》
CAS
CSCD
北大核心
2004年第6期688-691,共4页
文摘
针对电信运营分析系统的特殊要求,仔细分析了系统的数据源情况和数据转换要求,设计并实现了一个能够完成经营分析系统数据抽取转换工具.
关键词
经营分析系统
etl
数据
抽取
数据
转换
数据
加
载
Keywords
operation analysis system
etl
data extraction
data transformation
data loading
分类号
TP31 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
面向数据质量的ETL过程建模与实现
被引量:
23
4
作者
贾自艳
黄友平
罗平
李嘉佑
秦亮曦
史忠植
机构
中国科学院计算技术研究所智能信息处理重点实验室
出处
《系统仿真学报》
CAS
CSCD
2004年第5期907-911,914,共6页
基金
国家自然科学基金(60173017
90104021)
北京自然科学基金(4011003)
文摘
为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程统一的体系结构设计,包括ETL元数据对象建模、ETL转换函数设计、ETL任务建模以及ETL任务模型的描述语言(XTDL)。基于该体系结构和设计思想开发出一个ETL系统—MSETL,目的是为多策略数据挖掘平台(MSMiner)提供高质量的数据。它提供友好界面并对ETL过程进行统一的元数据管理,包括:ETL转换函数的注册和删除;任务模型的生成、执行和删除等功能。
关键词
数据仓库
数据质量
抽取
-
转换
-
装
载
(
etl
)
数据挖掘
数据清洗
Keywords
data warehouse
data quality
extraction
-
transformation
-
loading (
etl
)
data mining
data cleaning
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
一种标准的ETL的设计思想及其实现
被引量:
14
5
作者
程跟上
郑洪源
丁秋林
机构
南京航空航天大学信息科学与技术学院
出处
《计算机应用研究》
CSCD
北大核心
2005年第3期101-103,共3页
文摘
元数据在数据仓库系统中占据着十分重要的地位,其中存放着许多重要的信息,尤其是对于数据仓库的ETL过程,可以说是ETL的指挥中心。提出了以CWM元数据模型标准为基础来开发标准的ETL的设计思想,并描述了具体的开发步骤。
关键词
etl
CWM
抽取
元数据
转换
元数据
加
载
元数据
Keywords
etl
(Etract
-
Transform
-
Load)
CWM(Common Warehouse Metamodel)
Metadata about Extract
Metadata about Transformation
Metadata about Load
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
数据仓库ETL元模型设计
被引量:
9
6
作者
宋旭东
闫晓岚
刘晓冰
杨莉国
机构
大连交通大学软件学院
大连理工大学CIMS
出处
《计算机仿真》
CSCD
北大核心
2010年第9期106-108,119,共4页
基金
国家自然科学基金项目
(70572098)
产品知识资源管理理论与方法研究(70471056)
文摘
针对传统的ETL(Extract/Transform/Load)开发方法难以满足企业的决策需求,复杂性和高效性是ETL开发面临的两大主要问题。为此,在数据仓库系统统一集成建模框架下,为提高管理质量和快速性,提出一种数据仓库ETL元模型设计方法,取代了以往在特定的数据仓库中对ETL建模的方法,使得ETL过程较早地进入数据仓库设计阶段,实现了ETL与数据仓库在概念层上的无缝融合,减少了开发时间和成本代价。最后通过模型实际应用,验证了方法的可行性和高效性。
关键词
数据仓库
抽取
-
转换
-
加
载
统一建模语言扩展
元模型
Keywords
Data warehouse
etl
UML profile
Metamodel
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
面向数据质量的ETL框架的设计与实现
被引量:
20
7
作者
李庆阳
彭宏
机构
华南理工大学计算机科学与工程学院
出处
《计算机工程与设计》
CSCD
北大核心
2010年第9期2057-2060,共4页
基金
广东省自然科学基金项目(07006474)
广东省科技攻关基金项目(2007B010200044)
文摘
针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构。根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等。该架构以数据质量为核心,通过建立数据分析模型,利用规则推导引擎对数据分析结果生成数据清洗方案,从而有效地对数据流进行质量评估和管理。基于该设计思想开发一个ETL工具-DQETL。DQETL采用统一建模语言进行设计,并提供友好界面对ETL过程进行集中管理。最后,结合实例阐述了在该框架下进行数据质量管理的一般步骤。
关键词
数据仓库
数据质量
抽取
-
转换
-
装
载
(
etl
)
规则推导
数据清洗
Keywords
data warehouse
data quality
extract
-
transform
-
load (
etl
)
rule deduction
data cleaning
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
基于关键属性比对的增量数据抽取方法
被引量:
4
8
作者
刘胜
杨岳湘
邓劲生
李阳
机构
国防科技大学计算机学院
国防科技大学信息中心
出处
《计算机工程与应用》
CSCD
2012年第4期115-117,共3页
文摘
概述了ETL目前常用的增量数据抽取方法,在全表比对方法基础上,提出了基于关键属性比对的增量数据提取方法,描述了关键属性提取算法,并建立其模型,用实验验证了基于关键属性比对的方法优于全表比对方法和全表删除插入方法。
关键词
关键属性
增量数据
抽取
全表比对
提取
转换
加
载
(
etl
)
Keywords
pivotal attributes
incremental data extraction
entire table contract
Extraction Transformation Loading(
etl
)
分类号
TP312 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
基于语义树的非结构化年鉴Excel表格的ETL方法
被引量:
2
9
作者
赵乐
赵宏宇
刘斌
陈彦如
机构
西南交通大学计算机与人工智能学院
中铁第四勘察设计院集团有限公司
西南交通大学经济管理学院
出处
《计算机应用》
CSCD
北大核心
2021年第S02期131-135,共5页
基金
国家重点研发计划项目(2018YFB1601402)。
文摘
针对计算机程序在对海量Excel表格中的中国城市年鉴数据进行抽取-转换-加载(ETL)时由于表格的非结构化格式导致的准确率和查全率较低的问题,提出了一种基于语义树的ETL方法。首先,通过数据与表格行名、列名的对应关系分别建立两棵语义树模型,利用两棵语义树生成包含数据项以及数据项所属行名、列名的元数据集合;然后,通过正则表达式对每个元数据所属行名、列名进行语义匹配,从该集合中删除不需要的分项或汇总项元数据;接着,通过三种基于字典的过滤策略进一步做数据清洗,将剩余的元数据导入到数据仓库中;最后,从总量30万个统计年鉴表格中随机抽取604个进行程序ETL与人工ETL对比,实验结果表明,所提出的程序ETL可达到人工ETL86.51%的准确率和95.15%的查全率,可以满足考察地方发展现状、编制和发展未来规划的需求。
关键词
EXCEL表格
抽取
-
转换
-
加
载
语义树
正则表达式
数据仓库
Keywords
Excel table
Extract
-
Transform
-
Load(
etl
)
semantic tree
regular expression
data warehousing
分类号
TP391.13 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
基于大数据处理的ETL框架的研究与设计
被引量:
20
10
作者
沈琦
陈博
机构
北京工业大学
出处
《电子设计工程》
2016年第2期25-27,34,共4页
文摘
针对传统抽取、转换、装载(ETL)架构在数据处理过程控制方面和数据产品开发效率方面的不足,提出一种基于大数据处理的ETL架构。通过分析主流的ETL工具--Datastage的工作原理和ETL过程的特点,设计ETL元数据描述模块、ETL任务描述模块、配置解析模块和数据任务调度模块等。使用该框架处理数据任务时,以配置文件的方式开发,使工作效率得到了极大的提升。基于该设计思想开发一款基于大数据处理的ETL工具,在对数据处理过程(E、T、L)的控制方面得到了改进,同时也可以使数据开发人员从大量重复的操作中解脱出来,将更多的精力放在数据的逻辑处理方面。
关键词
大数据处理
数据
抽取
数据
转换
数据
加
载
etl
框架
Keywords
data processing
data extraction
data conversion
data loading
etl
framework
分类号
TN709 [电子电信—电路与系统]
下载PDF
职称材料
题名
基于模型驱动的ETL模型映射方法
被引量:
1
11
作者
姚全珠
白敏
黄蔚
机构
西安理工大学计算机科学与工程学院
出处
《计算机工程》
CAS
CSCD
北大核心
2009年第19期91-93,96,共4页
文摘
针对AP模型的特点,给出元模型中对象的形式化定义,优化模型映射算法,提出一种基于模型驱动、从概念模型到逻辑模型的映射方法。改进后的算法能够映射基于数据抽取-加载-转换(ETL)工作流的单源数据或多源数据,并发执行各状态节点,提高了执行的效率。实验结果表明,该方法为模型驱动式ETL设计及数据集成中快速实现ETL奠定了良好基础。
关键词
数据
抽取
-
加
载
-
转换
技术
逻辑模型
概念模型
数据集成
Keywords
data Extract
-
Transformation
-
Load(
etl
) technology
logical model
conceptual model
data integration
分类号
TP311.12 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
基于MapReduce的分布式ETL调度优化方法
被引量:
2
12
作者
宋杰
郝文宁
陈刚
靳大尉
机构
解放军理工大学指挥信息系统学院
出处
《指挥信息系统与技术》
2013年第4期17-20,共4页
文摘
分析了分布式抽取-转换-加载(ETL)节点调度方法,给出了一种根据ETL节点抽取的数据类型对所抽取数据进行分割的策略,并提出了基于映射/化简(MapReduce)的分布式ETL节点调度方法。试验表明,该方法提升了ETL节点的数据处理能力,改善了整个ETL过程的吞吐率及响应时间等计算性能,从而提高了分布式ETL的效率。
关键词
抽取
-
转换
-
加
载
映射
化简
调度
Keywords
extraction
-
transformation
-
loading (
etl
)
MapReduce
scheduling
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
面向ETL的数据起源追踪系统
被引量:
1
13
作者
戴超凡
王涛
机构
国防科学技术大学信息系统与管理学院信息系统工程重点实验室
出处
《计算机工程》
CAS
CSCD
北大核心
2011年第17期256-258,261,共4页
文摘
提出一种面向提取-转换-加载(ETL)过程的数据起源追踪系统,讨论实现的关键技术,包括转换分类、元数据设计、转换序列构建、追踪流程设计以及不同转换的追踪方法。系统将追踪所需的元数据设计在包文件结构中,在逆向追踪时抽取元数据进行相关处理,构建各个层次的转换起源信息图,从而实现数据起源的追踪。
关键词
数据起源
起源管理系统
提取
-
转换
-
加
载
同步/异步
转换
Keywords
data provenance
provenance management system
Extraction
-
Transform
-
Load(
etl
)
synchronous/asynchronous transformation
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
零售业数据仓库中ETL技术的研究
被引量:
1
14
作者
黄丽娟
郑雪峰
靳风荣
机构
广州大学计算机科学与技术系
北京科技大学信息工程学院
出处
《计算机与现代化》
2004年第9期63-65,共3页
文摘
数据仓库中的数据不是传统数据库中数据的简单堆积,它是一个复杂的容纳数据集成的系统工程,为决策者提供访问、分析及共享信息的能力,从而发挥数据仓库的真正功效。本文针对于零售业,阐述了在零售业数据仓库系统中ETL的流程并结合实际应用提出了在零售业数据仓库系统中的ETL过程应考虑的诸多问题及解决方案。
关键词
零售业
数据仓库
etl
数据
抽取
数据
转换
数据清洗
数据
加
载
Keywords
retail trade data warehouse
etl
data extract
data transform
data cleaning
data loading
分类号
F713.32 [经济管理—产业经济]
TP311.13 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
教学管理数据仓库中ETL的实现
被引量:
1
15
作者
占小忆
机构
合肥工业大学计算机与信息学院
安徽三联学院计算机科学与技术系
出处
《科技创新导报》
2011年第16期17-18,共2页
文摘
ETL工具从异构数据源抽取数据,并将数据清洗,规范化后装载到数据仓库。文章从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案。提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出成绩管理模块的具体实施步骤。
关键词
etl
数据仓库
数据
抽取
数据
转换
数据
加
载
分类号
TP311.13 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
分布式环境下ETL系统的优化策略研究
被引量:
1
16
作者
陈盛荣
刘广钟
机构
上海海事大学信息工程学院计算机系
出处
《现代计算机(中旬刊)》
2016年第8期39-42,80,共5页
文摘
ETL是将数据由不同数据源抽取到数据仓库的重要过程,ETL的过程设计、维护和修改直接影响数据仓库中数据处理的效率和数据的质量。通过分析ETL活动的模型特点,结合分布式计算的思想提出一种新的ETL系统模型,并提出基于该系统架构的满足ETL任务形态特征的优化方案,详细描述数据以及调度信息在系统中的周转过程。
关键词
数据仓库
分布式系统
抽取
转换
加
载
(
etl
)
Keywords
Data Warehouse
Distributed System
Extract
-
Transform
-
Load(
etl
)
分类号
TP391.41 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
粒子群算法在分布式ETL任务调度中的应用
被引量:
3
17
作者
王春阳
赵书良
王长宾
机构
河北师范大学数学与信息科学学院河北省计算数学与应用重点实验室
出处
《计算机工程与应用》
CSCD
2013年第9期150-155,共6页
基金
河北省科学技术研究与发展计划项目(No.072435158D
No.09213515D
+4 种基金
No.09213575D)
河北省教育厅科研计划项目(No.2008472)
河北师范大学博士基金项目(No.L2006B03)
河北师范大学重点科研基金项目(No.L2007Z01)
河北师范大学科技创新项目(No.CB2011331997)
文摘
随着分布式数据环境越来越复杂,ETL工具要面临数据源多、分布地域广和海量数据等因素带来的挑战。原有的集中式ETL工作流优化理论不能满足现在复杂数据环境的要求。介绍了如何将基于置换的离散型粒子群算法应用到分布式ETL任务优化调度问题上,主要工作围绕ETL工作调度模型、算法编码设计、目标函数选择等内容来展开,给出了分布式ETL工作调度策略的实现过程和伪代码。理论分析和实验证明了实际应用的有效可行性。
关键词
分布式
抽取
-
转换
-
加
载
(
etl
)
任务调度
基于置换的离散型粒子群算法
Keywords
distributed Extration
-
Transformation
-
Loading(
etl
)
task scheduling
discrete particle swarm optimization based onreplacement algorithm
分类号
TP311.133.1 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
元数据驱动ETL的研究
被引量:
5
18
作者
宿芳
寿永熙
苏依拉
机构
内蒙古工业大学信息工程学院
出处
《计算机工程与应用》
CSCD
2012年第6期114-118,125,共6页
基金
内蒙古自然科学基金(No.20080404MS0904)
文摘
对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系统的稳定性和可靠性,使用户通过对元数据的维护来控制ETL的执行过程。
关键词
抽取
、
转换
和
加
载
(
etl
)
数据仓库
元数据
SQL引擎
包引擎
Keywords
Extract, Transformation and Load(
etl
)
data warehouse
metadata
SQL engine
package engine
分类号
TP311.13 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
基于MAS的分布式ETL模型
被引量:
6
19
作者
徐艳华
郭朝珍
机构
福州大学数学与计算机科学学院
出处
《郑州大学学报(理学版)》
CAS
2007年第4期118-121,共4页
文摘
提出了基于MAS的分布式ETL模型,该模型将数据处理分配到多计算服务器,利用Agent的协作性、主动性、反应性和交互性,控制多计算服务器的协同处理来提高系统计算能力.与原有的ETL工具相比,该模型不仅可以提高ETL流程的运行效率,而且充分利用了企业系统中所有的服务器资源,从而降低了运行ETL服务器的硬件成本.
关键词
数据仓库
数据
抽取
数据
转换
数据
加
载
etl
分布式计算
AGENT
MAS
Keywords
data warehouse
data extraction
data transformation
data loading
etl
distributed computing
Agent
MAS
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
基于多Agent与工作流的分布式ETL引擎的研究
被引量:
2
20
作者
丁进
郭朝珍
机构
福州大学数学与计算机科学学院
出处
《计算机应用》
CSCD
北大核心
2009年第1期319-322,共4页
基金
福建省科技厅重点项目(2008H0025)
文摘
针对传统ETL工具集中式执行方式的不足,提出了一种基于多Agent与工作流相结合的分布式ETL引擎的体系结构。该体系结构由一个主控引擎和多个执行引擎组成,执行引擎可自主地向主控引擎注册执行服务,并利用分布式计算和多线程并行计算技术,实现由多个执行引擎协同执行ETL工作流,从而提高整个系统的灵活性和吞吐率。实验结果表明,该引擎具有较好的可扩展性和负载平衡性能,并提高了执行效率。
关键词
抽取
-
转换
-
加
载
多AGENT
工作流
分布式
协同
Keywords
Extraction
-
Transformation
-
Loading (
etl
)
multi
-
agent
workflow
distributed
cooperative
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于ETL技术的多源异构数据融合方法研究
杨国立
姜树明
《齐鲁工业大学学报》
CAS
2024
0
下载PDF
职称材料
2
动态载荷模拟可控加载与测试装置设计
鲁文其
周延锁
刘虎
《机电工程》
CAS
2015
4
下载PDF
职称材料
3
电信经营分析系统中抽取转换子系统的设计与实现
周亚宁
《内蒙古大学学报(自然科学版)》
CAS
CSCD
北大核心
2004
0
下载PDF
职称材料
4
面向数据质量的ETL过程建模与实现
贾自艳
黄友平
罗平
李嘉佑
秦亮曦
史忠植
《系统仿真学报》
CAS
CSCD
2004
23
下载PDF
职称材料
5
一种标准的ETL的设计思想及其实现
程跟上
郑洪源
丁秋林
《计算机应用研究》
CSCD
北大核心
2005
14
下载PDF
职称材料
6
数据仓库ETL元模型设计
宋旭东
闫晓岚
刘晓冰
杨莉国
《计算机仿真》
CSCD
北大核心
2010
9
下载PDF
职称材料
7
面向数据质量的ETL框架的设计与实现
李庆阳
彭宏
《计算机工程与设计》
CSCD
北大核心
2010
20
下载PDF
职称材料
8
基于关键属性比对的增量数据抽取方法
刘胜
杨岳湘
邓劲生
李阳
《计算机工程与应用》
CSCD
2012
4
下载PDF
职称材料
9
基于语义树的非结构化年鉴Excel表格的ETL方法
赵乐
赵宏宇
刘斌
陈彦如
《计算机应用》
CSCD
北大核心
2021
2
下载PDF
职称材料
10
基于大数据处理的ETL框架的研究与设计
沈琦
陈博
《电子设计工程》
2016
20
下载PDF
职称材料
11
基于模型驱动的ETL模型映射方法
姚全珠
白敏
黄蔚
《计算机工程》
CAS
CSCD
北大核心
2009
1
下载PDF
职称材料
12
基于MapReduce的分布式ETL调度优化方法
宋杰
郝文宁
陈刚
靳大尉
《指挥信息系统与技术》
2013
2
下载PDF
职称材料
13
面向ETL的数据起源追踪系统
戴超凡
王涛
《计算机工程》
CAS
CSCD
北大核心
2011
1
下载PDF
职称材料
14
零售业数据仓库中ETL技术的研究
黄丽娟
郑雪峰
靳风荣
《计算机与现代化》
2004
1
下载PDF
职称材料
15
教学管理数据仓库中ETL的实现
占小忆
《科技创新导报》
2011
1
下载PDF
职称材料
16
分布式环境下ETL系统的优化策略研究
陈盛荣
刘广钟
《现代计算机(中旬刊)》
2016
1
下载PDF
职称材料
17
粒子群算法在分布式ETL任务调度中的应用
王春阳
赵书良
王长宾
《计算机工程与应用》
CSCD
2013
3
下载PDF
职称材料
18
元数据驱动ETL的研究
宿芳
寿永熙
苏依拉
《计算机工程与应用》
CSCD
2012
5
下载PDF
职称材料
19
基于MAS的分布式ETL模型
徐艳华
郭朝珍
《郑州大学学报(理学版)》
CAS
2007
6
下载PDF
职称材料
20
基于多Agent与工作流的分布式ETL引擎的研究
丁进
郭朝珍
《计算机应用》
CSCD
北大核心
2009
2
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
2
3
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部