期刊文献+
共找到411篇文章
< 1 2 21 >
每页显示 20 50 100
Refreshing File Aggregate of Distributed Data Warehouse in Sets of Electric Apparatus
1
作者 于宝琴 王太勇 +3 位作者 张君 周明 何改云 李国琴 《Transactions of Tianjin University》 EI CAS 2006年第3期174-179,共6页
集成异构的数据来源是一个前提为企业分享数据。更新的高度有效的数据能两个都保存系统开销,并且提供即时数据,在数据仓库的预处理区域很快修改数据是热问题之一。装载设计的摘录变换基于一根新数据算法 calledDiff 火柴被建议,它被... 集成异构的数据来源是一个前提为企业分享数据。更新的高度有效的数据能两个都保存系统开销,并且提供即时数据,在数据仓库的预处理区域很快修改数据是热问题之一。装载设计的摘录变换基于一根新数据算法 calledDiff 火柴被建议,它被利用模式匹配和过滤数据的技术开发。它能加速数据更新,过滤异构的数据,并且搜寻数据的不同集合。Itsefficiency 被它的成功的应用程序在电的仪器组的一家企业证明了。 展开更多
关键词 分布式 数据仓库 KMP算法 电气设备
下载PDF
A Data Mining Algorithm Based on Distributed Decision-Tree in Grid Computing Environments
2
作者 Zhongda Lin Yanfeng Hong Kun Deng 《南昌工程学院学报》 CAS 2006年第2期126-128,共3页
Recently, researches on distributed data mining by making use of grid are in trend. This paper introduces a data mining algorithm by means of distributed decision-tree,which has taken the advantage of conveniences and... Recently, researches on distributed data mining by making use of grid are in trend. This paper introduces a data mining algorithm by means of distributed decision-tree,which has taken the advantage of conveniences and services supplied by the computing platform-grid,and can perform a data mining of distributed classification on grid. 展开更多
关键词 GRID decision-tree distributed data ming system architecture
下载PDF
An architecture for mobile database management system 被引量:2
3
作者 Dong Li and Yucai Feng Computer School, Huazhong University of Science and Technology, Wuhan 430074, China 《Journal of University of Science and Technology Beijing》 CSCD 2002年第2期156-160,共5页
In order to design a new kind of mobile database management system (DBMS)more suitable for mobile computing than the existent DBMS, the essence of database systems in mobilecomputing is analyzed. An opinion is introdu... In order to design a new kind of mobile database management system (DBMS)more suitable for mobile computing than the existent DBMS, the essence of database systems in mobilecomputing is analyzed. An opinion is introduced that the mobile database is a kind of dynamicdistributed database, and the concept of virtual servers to translate the clients' mobility to theservers' mobility is proposed. Based on these opinions, a kind of architecture of mobile DBMS, whichis of versatility, is presented. The architecture is composed of a virtual server and a local DBMS,the virtual server is the kernel of the architecture and its functions are described. Eventually,the server kernel of a mobile DBMS prototype is illustrated. 展开更多
关键词 mobile database dynamic distributed database DBMS architecture virtual server data region
下载PDF
Scalable Distributed File Sharing System: A Robust Strategy for a Reliable Networked Environment in Tertiary Institutions 被引量:1
4
作者 Emmanuel N. Ekwonwune Bright U. Ezeoha 《International Journal of Communications, Network and System Sciences》 2019年第4期49-58,共10页
The bane of achieving a scalable distributed file sharing system is the centralized data system and single server oriented file [sharing] system. In this paper, the solution to the problems in a distributed environmen... The bane of achieving a scalable distributed file sharing system is the centralized data system and single server oriented file [sharing] system. In this paper, the solution to the problems in a distributed environment is presented. Thus, inability to upload sizeable files, slow transportation of files, weak security and lack of fault tolerance are the major problems in the existing system. Hence, the utmost need is to build a client-server network that runs on two or more server systems in order to implement scalability, such that when one server is down, the other(s) would still hold up the activities within the network. And to achieve this reliable network environment, LINUX network operating system is recommended among others as a preferred platform for the synchronization of the server systems, such that every user activity like sending of internal memos/mails, publication of academic articles, is replicated;thereby, achieving the proposed result. Hence, Scalable Distributed File Sharing System provides the robustness required to having a reliable intranet. 展开更多
关键词 distributed SYSTEM architecture FILES Sharing distributed File SYSTEM Replication Reliability TRANSPARENCY data Access Interfaces FAULT Detection FAULT Tolerance Cache Consistency SCALABILITY
下载PDF
Preliminary Study in Spatial Data Warehouse of Flood Control and Disaster Mitigation in Yangtze River Basin
5
作者 ZHAN Xiao guoSenior engineer, Yangtze River Scientific Research Institute, Changjiang Water Resources Commission, Wuhan 430010, China 《人民长江》 北大核心 2002年第S1期90-92,共3页
Since 1990s,the spatial data warehouse technology has rapidly been developing, but due to the complexity of multi-dimensional analysis, extensive application of the spatial data warehouse technology is affected. In th... Since 1990s,the spatial data warehouse technology has rapidly been developing, but due to the complexity of multi-dimensional analysis, extensive application of the spatial data warehouse technology is affected. In the light of the characteristics of the flood control and disaster mitigation in the Yangtze river basin, it is proposed to design a scheme about the subjects and data distribution of the spatial data warehouse of the flood control and disaster mitigation in Yangtze river basin, i.e., to adopt a distributed scheme. The creation and development of the spatial data warehouse of the flood control and disaster mitigation in Yangtze river basin is presented .The necessity and urgency of establishing the spatial data warehouse is expounded from the viewpoint of the present situation being short of available information for the flood control and disaster mitigation in Yangtze river basin. 展开更多
关键词 spatial data warehouse distributional scheme FLOOD control and DISASTER MITIGATION YANGTZE RIVER
下载PDF
The Data Warehouse Model Based on Web Service Technology
6
作者 ZHONG Luo ZHANG Kaisong +1 位作者 XIA Hongxia ZHANG Kaipeng 《通讯和计算机(中英文版)》 2005年第1期26-30,共5页
关键词 WEB服务系统 数据库 编译程序 类别支撑系统
下载PDF
Research on IPv6 Transition Evolvement and Security Architecture of Smart Distribution Grid Data Communication System
7
作者 Xin Miao Xi Chen 《Journal of Energy and Power Engineering》 2012年第1期146-149,共4页
关键词 数据通信系统 配电网设备 安全体系结构 IPV6 智能 演变 数据通信网络 IPV4协议
下载PDF
大庆油田CIFLog测井数智云平台建设应用实践
8
作者 李宁 刘英明 +2 位作者 王才志 原野 夏守姬 《大庆石油地质与开发》 CAS 北大核心 2024年第3期17-25,共9页
针对大庆油田生产中测井数据量大、类型多和数据来源复杂等问题,以中国石油天然气集团有限公司大型测井处理解释软件CIFLog为基础,以业务需求为主导,采用微服务架构和测井分布式云计算技术体系,研发测井大数据存储管理、中间服务层和云... 针对大庆油田生产中测井数据量大、类型多和数据来源复杂等问题,以中国石油天然气集团有限公司大型测井处理解释软件CIFLog为基础,以业务需求为主导,采用微服务架构和测井分布式云计算技术体系,研发测井大数据存储管理、中间服务层和云端测井处理解释应用等新功能,形成了大庆油田测井数智云应用平台。目前,平台已全面安装部署到大庆油田相关单位,应用效果显著。特别在大庆油田智能决策中心,平台直接用于重点水平井随钻地质导向的现场决策,大幅提升了Ⅰ类储层的钻遇率。未来平台将重点围绕新功能研发、油田数智化应用场景建设和标准化技术体系构建等开展工作,并将取得的成果及时推广复制到西南油田、塔里木油田等油气田。CIFLog云平台作为中国油气工业软件数智化建设应用的先行典范,必将发挥越来越重要的示范引领作用。 展开更多
关键词 大庆油田 CIFLog测井数智云平台 大数据 人工智能 微服务架构 分布式云计算
下载PDF
一种改进的分布式ETL体系结构 被引量:5
9
作者 夏秀峰 张亮 +1 位作者 石祥滨 徐蕾 《计算机应用与软件》 CSCD 2010年第4期174-176,共3页
在分析了分布式数据仓库数据一致性维护的重要性,以及目前分布式ETL(Extract,transform and load)中存在问题的基础上,针对传统ETL体系结构对分布式数据仓库一致性维护的不足,提出一种新的分布式ETL的体系结构ETLM,并详细描述了数据一... 在分析了分布式数据仓库数据一致性维护的重要性,以及目前分布式ETL(Extract,transform and load)中存在问题的基础上,针对传统ETL体系结构对分布式数据仓库一致性维护的不足,提出一种新的分布式ETL的体系结构ETLM,并详细描述了数据一致性维护模块(M模块)的设计与实现。ETLM的体系结构免去了分布式数据仓库需要专门进行一致性维护的额外负担,可以更加正确、快捷、高效地支持OLAP。 展开更多
关键词 分布式etl 体系结构 分布式数据仓库
下载PDF
基于CEP引擎的配电网运行监控信号大数据ETL方法 被引量:14
10
作者 葛贤军 艾明浩 +2 位作者 李志宏 汪旭 陈乃仕 《电工电能新技术》 CSCD 北大核心 2017年第9期36-42,共7页
电力系统规模在不断扩大,配电网电气设备数量急剧增长且趋于精细化。大量且散乱的运行监控数据使得主动配电网各应用无法快速有效地提取有用信息以形成决策支持。本文利用复杂事件处理(CEP)引擎作为运行监控信号处理核心,通过Apriori机... 电力系统规模在不断扩大,配电网电气设备数量急剧增长且趋于精细化。大量且散乱的运行监控数据使得主动配电网各应用无法快速有效地提取有用信息以形成决策支持。本文利用复杂事件处理(CEP)引擎作为运行监控信号处理核心,通过Apriori机器学习算法定义和完善规则库,通过核心算法库对信号数据流进行规范化处理。整体采用ETL(Extract-Transform-Load)框架,将主动配电网中分散、零乱、标准不统一的信号数据整合、清洗后加载到数据仓库,并以多种数据接口输出至不同介质,供不同应用调用。基于CEP引擎的大数据ETL方法,可对运行监控信号进行快速、精确、有效的规范化处理,实现多数据源集成与输出,为主动配电网设备仿真、故障分析、状态估计等多种重要应用提供数据准备。 展开更多
关键词 CEP引擎 运行监控 大数据 etl 主动配电网 规范化
下载PDF
基于Spark的并行ETL 被引量:7
11
作者 丁祥武 解书亮 李继云 《计算机工程与设计》 北大核心 2017年第9期2580-2585,共6页
针对大数据中的"海量"特征,基于Spark研究并行ETL技术的相关内容,提出并设计一种分布式ETL方案,对不同的转换处理分别采用对应的并行方法。针对一般的非聚集处理,如常见的数据清洗、数据格式标准化处理,采用基于分区的并行管... 针对大数据中的"海量"特征,基于Spark研究并行ETL技术的相关内容,提出并设计一种分布式ETL方案,对不同的转换处理分别采用对应的并行方法。针对一般的非聚集处理,如常见的数据清洗、数据格式标准化处理,采用基于分区的并行管道处理算法,使数据处理在分区单元中快速完成,提高数据转换的效率;对于相应的聚集处理,如数据仓库中常见的数值数据的聚合处理,使用分区预聚合方式,最大限度降低数据传输的频次。相关实验结果表明,两种并行处理方法能够有效提高分布式ETL的处理效率和性能,加速大数据量的转换过程。 展开更多
关键词 大数据 数据仓库 抽取、转换、加载 转换处理 分布式 火花大数据平台
下载PDF
基于结构图的ETL过程建模方法 被引量:5
12
作者 张忠平 赵瑞珍 《计算机应用研究》 CSCD 北大核心 2008年第11期3354-3356,共3页
ETL是数据仓库获得高质量数据的重要环节,在数据仓库建设过程中占有极其重要的地位。为了便于ETL过程的设计、维护和修改,提出一种基于结构图的ETL过程建模方法,并依据该方法完成了ETL概念模型的设计。通过图形化ETL过程中的元素和关联... ETL是数据仓库获得高质量数据的重要环节,在数据仓库建设过程中占有极其重要的地位。为了便于ETL过程的设计、维护和修改,提出一种基于结构图的ETL过程建模方法,并依据该方法完成了ETL概念模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了数据的来源和流向、源数据与目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和ETL过程的编码实现,使整个ETL设计过程更加方便、灵活。 展开更多
关键词 数据仓库 抽取转换加载 结构图 模型
下载PDF
基于分布式数据仓库技术的ETL系统的研究与应用 被引量:7
13
作者 花海洋 李一凡 赵怀慈 《微计算机信息》 北大核心 2006年第10X期144-146,209,共4页
ETL系统是构建和维护数据仓库的基本构件,由于要处理海量数据和访问各种异构数据源,如何同时具有高效的数据处理能力和通用的数据源访问能力是值得研究的问题。本文针对某银行数据仓库项目的实际需求,提出了基于分布式数据仓库的ETL系统... ETL系统是构建和维护数据仓库的基本构件,由于要处理海量数据和访问各种异构数据源,如何同时具有高效的数据处理能力和通用的数据源访问能力是值得研究的问题。本文针对某银行数据仓库项目的实际需求,提出了基于分布式数据仓库的ETL系统,并使用了XML技术实现异构数据源的通用接口访问方式。系统运行表明该解决方案具有好的使用效果。 展开更多
关键词 etl 分布式数据仓库 数据挖掘
下载PDF
结构图ETL概念模型的设计方法 被引量:3
14
作者 张忠平 赵瑞珍 《计算机工程与应用》 CSCD 北大核心 2009年第6期161-164,共4页
ETL过程是数据仓库获得高质量数据的重要环节,是任何数据仓库工程不可缺少的成功因素。为了便于ETL过程的设计和维护,降低ETL过程的设计、维护代价,提出一种基于结构图的ETL概念模型设计方法,给出一个用于描述ETL过程的模型,并基于CWM... ETL过程是数据仓库获得高质量数据的重要环节,是任何数据仓库工程不可缺少的成功因素。为了便于ETL过程的设计和维护,降低ETL过程的设计、维护代价,提出一种基于结构图的ETL概念模型设计方法,给出一个用于描述ETL过程的模型,并基于CWM完成用以存储元数据的ETL元模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了各个源数据库与目标数据仓库的内部结构和组成、数据的来源与流向、源数据和目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和编码实现,使整个ETL的设计与维护过程更加方便、灵活、有效。 展开更多
关键词 数据仓库 数据抽取 转换 加载 结构图 概念模型
下载PDF
基于混合云架构的分布式协同信息共享平台设计
15
作者 韩泽华 董爱强 +2 位作者 郭晓娟 张立新 崔粉霞 《电气自动化》 2024年第2期83-87,共5页
随着云环境的日趋复杂和信息分享需求的日益增大,设计了一种基于混合云架构的分布式协同信息共享平台。设计公、私有云混合环境下的信息共享平台的各项功能,通过定义共享平台数据的敏感度、空间饱和度以及访问频率等参数,为数据选择合... 随着云环境的日趋复杂和信息分享需求的日益增大,设计了一种基于混合云架构的分布式协同信息共享平台。设计公、私有云混合环境下的信息共享平台的各项功能,通过定义共享平台数据的敏感度、空间饱和度以及访问频率等参数,为数据选择合适的存储位置;采用新型数据命名规则,将不同数据命名为一级数据或多级数据,从而实现共享数据的高效分发;还设计一种改进型公私钥双重加密技术,保护共享平台的数据安全,通过建立加密秘钥、权限矩阵和服务器密文三种加密数据,并与云共享平台再度结合产生重加密密文,实现指定用户的指定数据安全共享。经过试验验证,设计的分布式协同信息共享平台在数据存储、数据传输与数据安全方面均有较高的性能。 展开更多
关键词 数据存储 数据命名 分布式 混合云架构 数据安全 信息共享平台
下载PDF
基于分布式技术的动车组车载大数据存储与检索技术研究 被引量:2
16
作者 扈海军 《铁道机车车辆》 北大核心 2024年第1期100-107,共8页
随着动车组的数据传输能力升级改造以及复兴号智能型动车组的上线运营,动车组监测项点数据快速扩充,如何高效、准确地对动车组的海量车载非实时数据进行存储、检索与查询,成为提升动车组车载数据管理和应用水平面临的一个挑战。文中提... 随着动车组的数据传输能力升级改造以及复兴号智能型动车组的上线运营,动车组监测项点数据快速扩充,如何高效、准确地对动车组的海量车载非实时数据进行存储、检索与查询,成为提升动车组车载数据管理和应用水平面临的一个挑战。文中提出一种基于分布式技术的海量非实时数据地面系统架构,将各动车运用所的数据服务站点作为子节点,全路数据服务中心作为主节点,对具备时空属性的海量数据快速检索算法进行了研究,构建了一种支持分布式数据存储、检索及数据分析的架构,开发了原型系统,验证了解决方案的可行性和有效性。 展开更多
关键词 动车组车载信息无线传输系统(WTDS) 动车组车载海量数据 数据检索 分布式系统架构
下载PDF
铁路数据分布式湖仓一体架构分析与设计
17
作者 李国华 邹丹 +2 位作者 李海军 孙思齐 王建强 《现代信息科技》 2024年第1期54-58,共5页
科学合理的数据资源分类方法和行之有效的数据湖架构体系,可以支撑起铁路全业务数据的高效存储、组织和利用,并进一步支持并优化各项运营业务。文章首先对现有数据湖架构进行简要分析,确定选用湖仓一体的概念,将铁路数据以主题进行分类... 科学合理的数据资源分类方法和行之有效的数据湖架构体系,可以支撑起铁路全业务数据的高效存储、组织和利用,并进一步支持并优化各项运营业务。文章首先对现有数据湖架构进行简要分析,确定选用湖仓一体的概念,将铁路数据以主题进行分类以适应业务处理需求;其次设计了铁路数据分布式湖仓一体架构,阐述了路局级子湖仓一体与国铁集团总湖仓一体的架构与功能,以及两者之间的数据流转过程;最后分析了所设计架构的特性与存在的问题,为进一步构建有效的铁路运营数据湖提供了参考。 展开更多
关键词 铁路大数据 数据治理 数据湖 湖仓一体 分布式架构
下载PDF
属性关联模型下大数据集群查询仿真
18
作者 周敏 曾达 杨祥 《计算机仿真》 2024年第3期524-527,537,共5页
在数据查询过程中,易受冗余数据、服务器异常、虚拟信息等问题的干扰,导致查询时间长、查询稳定性差等现象产生。为了解决上述问题,提出基于属性关联模型的大数据集群查询算法。采用扩展t-SNE算法对大数据集群中的数据节点做降维处理,... 在数据查询过程中,易受冗余数据、服务器异常、虚拟信息等问题的干扰,导致查询时间长、查询稳定性差等现象产生。为了解决上述问题,提出基于属性关联模型的大数据集群查询算法。采用扩展t-SNE算法对大数据集群中的数据节点做降维处理,避免冗余数据对查询过程产生干扰。将降维后的数据输入到属性关联模型中,实现大数据集群的特征提取,并将提取的特征输入到分布式并行架构中,通过查询负载量的计算完成大数据集群的查询。实验结果表明,所提算法的响应时间短,查询开销小于50Mb,且查询稳定性强。 展开更多
关键词 大数据集群降维 特征提取 属性特征 分布式并行架构 负载均衡分配 查询负载量
下载PDF
分布式环境下ETL系统的优化策略研究 被引量:1
19
作者 陈盛荣 刘广钟 《现代计算机(中旬刊)》 2016年第8期39-42,80,共5页
ETL是将数据由不同数据源抽取到数据仓库的重要过程,ETL的过程设计、维护和修改直接影响数据仓库中数据处理的效率和数据的质量。通过分析ETL活动的模型特点,结合分布式计算的思想提出一种新的ETL系统模型,并提出基于该系统架构的满足ET... ETL是将数据由不同数据源抽取到数据仓库的重要过程,ETL的过程设计、维护和修改直接影响数据仓库中数据处理的效率和数据的质量。通过分析ETL活动的模型特点,结合分布式计算的思想提出一种新的ETL系统模型,并提出基于该系统架构的满足ETL任务形态特征的优化方案,详细描述数据以及调度信息在系统中的周转过程。 展开更多
关键词 数据仓库 分布式系统 抽取转换加载(etl)
下载PDF
基于Greenplum的铁路数据共享平台设计
20
作者 舒雨姗 唐伟忠 +2 位作者 庞伟赟 曹海鹏 李汶鞠 《铁路计算机应用》 2024年第6期57-66,共10页
实现铁路既有信息系统数据共享,加快数据集成应用开发,是我国铁路信息化建设继续深入推进的必由之路。文章针对铁路企业既有数据资产来源广、数据源类型多种多样等特点,基于分布式数据仓库Greenplum,开发了适用于集中存储和管理铁路企... 实现铁路既有信息系统数据共享,加快数据集成应用开发,是我国铁路信息化建设继续深入推进的必由之路。文章针对铁路企业既有数据资产来源广、数据源类型多种多样等特点,基于分布式数据仓库Greenplum,开发了适用于集中存储和管理铁路企业多源异构数据的数据共享平台。平台提供数据目录管理、数据采集、数据共享、运行监控管理与数据安全防护等功能,实现对铁路多源异构数据的自动采集、处理及规范化集中存储。平台采用高可靠、易扩展的架构设计及可视化技术,为平台管理员提供简便易用的可视化配置与运行管理工具,为铁路企业应用开发单位提供便捷高效、稳定可靠、安全合规的数据共享服务,较好地满足铁路企业数据集成应用开发的需要,也为铁路企业大数据应用构建起坚实的基座。该平台已在中国铁路兰州局集团有限公司启动试运行,创建了企业既有信息系统数据资产目录,已采集76种业务数据,为十多个信息系统提供稳定、高效的数据共享服务。 展开更多
关键词 数据资产管理 数据共享 数据集成应用 数据目录 数据仓库 分布式任务调度 可视化
下载PDF
上一页 1 2 21 下一页 到第
使用帮助 返回顶部