Refreshing File Aggregate of Distributed Data Warehouse in Sets of Electric Apparatus

集成异构的数据来源是一个前提为企业分享数据。更新的高度有效的数据能两个都保存系统开销，并且提供即时数据，在数据仓库的预处理区域很快修改数据是热问题之一。装载设计的摘录变换基于一根新数据算法 calledDiff 火柴被建议，它被利用模式匹配和过滤数据的技术开发。它能加速数据更新，过滤异构的数据，并且搜寻数据的不同集合。Itsefficiency 被它的成功的应用程序在电的仪器组的一家企业证明了。

Preliminary Study in Spatial Data Warehouse of Flood Control and Disaster Mitigation in Yangtze River Basin

Since 1990s,the spatial data warehouse technology has rapidly been developing, but due to the complexity of multi-dimensional analysis, extensive application of the spatial data warehouse technology is affected. In the light of the characteristics of the flood control and disaster mitigation in the Yangtze river basin, it is proposed to design a scheme about the subjects and data distribution of the spatial data warehouse of the flood control and disaster mitigation in Yangtze river basin, i.e., to adopt a distributed scheme. The creation and development of the spatial data warehouse of the flood control and disaster mitigation in Yangtze river basin is presented .The necessity and urgency of establishing the spatial data warehouse is expounded from the viewpoint of the present situation being short of available information for the flood control and disaster mitigation in Yangtze river basin.

铁路数据分布式湖仓一体架构分析与设计

科学合理的数据资源分类方法和行之有效的数据湖架构体系,可以支撑起铁路全业务数据的高效存储、组织和利用,并进一步支持并优化各项运营业务。文章首先对现有数据湖架构进行简要分析,确定选用湖仓一体的概念,将铁路数据以主题进行分类以适应业务处理需求;其次设计了铁路数据分布式湖仓一体架构,阐述了路局级子湖仓一体与国铁集团总湖仓一体的架构与功能,以及两者之间的数据流转过程;最后分析了所设计架构的特性与存在的问题,为进一步构建有效的铁路运营数据湖提供了参考。

基于Greenplum的铁路数据共享平台设计

实现铁路既有信息系统数据共享,加快数据集成应用开发,是我国铁路信息化建设继续深入推进的必由之路。文章针对铁路企业既有数据资产来源广、数据源类型多种多样等特点,基于分布式数据仓库Greenplum,开发了适用于集中存储和管理铁路企业多源异构数据的数据共享平台。平台提供数据目录管理、数据采集、数据共享、运行监控管理与数据安全防护等功能,实现对铁路多源异构数据的自动采集、处理及规范化集中存储。平台采用高可靠、易扩展的架构设计及可视化技术,为平台管理员提供简便易用的可视化配置与运行管理工具,为铁路企业应用开发单位提供便捷高效、稳定可靠、安全合规的数据共享服务,较好地满足铁路企业数据集成应用开发的需要,也为铁路企业大数据应用构建起坚实的基座。该平台已在中国铁路兰州局集团有限公司启动试运行,创建了企业既有信息系统数据资产目录,已采集76种业务数据,为十多个信息系统提供稳定、高效的数据共享服务。

基于GreenPlum的铁路运输收入数字化管理平台设计与实现

为提高铁路运输收入管理部门对到达货物收费合规性、收入稽查工作过程信息化及运输收入全过程的监控管理水平,设计并实现了基于GreenPlum的铁路运输收入数字化管理平台。以GreenPlum数据仓库作为大数据实时处理平台,将运输收入数据与其他业务数据结合,实现了收入数据的统计分析和预算监控;通过分布式计算和大规模并行处理,实现了数据的即席查询和可视化,提高数字分析的准确性和及时性,为铁路企业及站段的经营活动提供有力的数据依据。实践表明,该平台的应用提高了铁路局集团公司运输收入工作效率及收入稽查工作信息化水平,提升了企业管理效能,为实现传统收入管理向数字化管理转型提供支撑。

实时数据处理轻量化应用程序的设计与实现

在企业决策时效性要求越来越高的情况下,离线数据仓库逐渐无法满足要求。实时数据仓库成为企业快速决策的重要依赖,其准确性、实时性为企业做出及时准确的市场判断提供了重要的数据支撑。传统的实时数据仓库主要依赖于Hadoop、Spark、Flink等分布式技术框架,对企业相关人员有较高的技术要求,同时以上分布式技术对服务器资源有着更多的需求,增加了企业的运营成本。本文着力于探讨一种轻量化的实时数据处理架构,以满足部分场景下的实时数据仓库需求,并对这一架构进行初步的设计和实现。

面向未来发展的铁路信息资源规划研究

目前铁路信息化建设中存在着信息资源重复建设、难共享、分布不合理以及内容质量差等诸多问题。本文结合对铁路信息资源的现状分析 ,借助先进的信息网络技术 ,提出铁路信息资源规划框架 ,从全路的角度来考虑信息资源的合理分布 ,统筹考虑信息交互接口 ,方便信息资源的共享和有效利用 ,而且面向辅助决策和 Inter-net服务的需要 ,加强以数据仓库和 WEB数据为代表的信息资源质量建设 。

基于分布式数据仓库的分类分析研究

针对GAC-RDB分类算法只能应用于单机版数据仓库的局限性,为了能够更方便、快捷地在云计算平台上开展数据挖掘工作,基于分布式数据仓库HBase,结合GAC-RDB分类算法的实现机理,制定适合分布式平台的运行策略,使用原生HiveQL语言提出了一种分布式GAC-RDB分类算法。实验显示,随着集群中节点的不断增加,算法的运行时间稳步下降。结果表明,在保证算法准确率的前提下,分布式数据仓库能够有效提高GACRDB分类算法的扩展性和运行效率,相对于MapReduce框架,HiveQL语言降低了对数据挖掘从业人员的技术要求,更大程度地减少了算法的开发时间,为挖掘海量数据提供了新的解决方案。

基于MapReduce的关系型数据仓库并行查询

针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索引等查询优化优势相结合.实验证明基于MapReduce的ChunkDB数据库能够为数据仓库应用提供快速高效的并行查询.

面向集团型企业的混合型分布式数据仓库构建

越来越多的集团型企业迫切需要分布式数据管理和多层次决策支持,因而对数据仓库的实现技术提出了新的要求。本文的目的是寻求一种能适应集团型企业特点的数据仓库方案。分析了传统的集中式数据仓库的不足,在此基础上,提出混合型分布式数据仓库的概念和体系结构,结合JW-DSS工程项目,讨论了该方案中的关键技术,包括元数据分布、数据抽取、联机分析处理、用户管理的策略等。

基于分布式系统概念的分布式数据仓库

以分布式系统的概念,描述了以主题分布为特点的分布式数据仓库,建立了节点主题处理原则,论述了此种分布式数据仓库的特点,并与Inmon先生描述的分布式数据仓库进行了特征比较。此外,还简要地分析了节点仓库与数据集市的异同,构建分布式数据仓库的方法与费用,从而指出分布式数据仓库应用的乐观前景。

一种改进的分布式ETL体系结构

在分析了分布式数据仓库数据一致性维护的重要性,以及目前分布式ETL(Extract,transform and load)中存在问题的基础上,针对传统ETL体系结构对分布式数据仓库一致性维护的不足,提出一种新的分布式ETL的体系结构ETLM,并详细描述了数据一致性维护模块(M模块)的设计与实现。ETLM的体系结构免去了分布式数据仓库需要专门进行一致性维护的额外负担,可以更加正确、快捷、高效地支持OLAP。

基于统计方法的Hive数据仓库查询优化实现

Map/Reduce是海量离线数据分析中广泛应用的并行编程模型。Hive数据仓库基于Map/Reduce实现了查询处理引擎,然而Map/Reduce框架在处理偏斜数据时会出现工作负载分布不均的问题。均衡计算模型（computation balanced model,CBM）,其核心思想是通过数据分布特征指导查询计划优化。相应研究贡献包括2部分,首先针对应用极广的GroupBy查询和Join查询建立了运行估价模型,确定了不同场景下查询计划的优化选择分支;其次基于Hive ETL机制设计了一种统计信息收集方法,解决了统计海量数据分布特征的问题。实验数据表明,通过CBM优化的GroupBy查询耗时节省了8%～45%,Join查询耗时节省了12%～46%;集群CPU负载均衡指标优化了60%～80%,I/O负载均衡指标优化了60%～90%。实验结果证实了基于CBM模型优化的查询计划生成器能显著均衡化Hive查询运行时的集群负载,并优化了查询处理效率。

关于数据库技术研究及发展现状的探讨

数据库技术是现代信息系统的重要技术基础。在分析数据库技术的研究和发展现状后 ,介绍了当前流行的几种数据库技术 ,如面向对象数据库、分布式数据库、数据仓库、数据挖掘、Web数据库等等 。

基于分布式数据仓库的海洋动力环境立体监测信息服务研究

本文以海洋动力环境立体监测数据仓库及服务系统(MDSS)为例论述了一个贯穿数据层、信息层和服务层的多层次信息流平台,在数据层,设计了一个集成与应用众多监测平台的分布式数据仓库系统,在信息层,给出了信息共享的网络发布方案,在服务层,为了满足不同层次的需要设计实现了数据级和分析级两个级别的信息服务并对其进行了详尽的分析,最后给出了系统实现的典型界面和一个地波雷达数据分析的实例。

一种分布式多媒体数据仓库模型

多媒体数据采掘是从大型多媒体数据库中提取高层的多媒体信息及知识。介绍一种分布式多媒体数据仓库模型──ＣＭＳ模型的体系结构及存储结构，并构造了具有综合处理各种媒体数据，能够对这些媒体数据进行修改、查询的军用多媒体数据仓库原型系统。

现代IT与第四代GIS软件

就现代计算机软件技术发展的若干方面进行了回顾和分析 ,结合 GIS软件在这些方面的实现进行了讨论 .特别就 GIS软件在空间数据的分布式计算 ,空间数据、属性数据的一体化查询与操作 ,空间数据挖掘等方面进行了比较深入的分析 .指出目前 GIS实现技术存在的不足及其原因 ,主要表现在空间数据模型的组织和存储技术不完善、缺乏完整空间关系描述框架、以及空间数据与其他数据联系不够紧密等方面 .提出了解决这些问题的技术突破方向 ,是要改变以图层为基础的空间数据存储和操作模式 ,建立空间同步的数据操作机制 ,实现空间数据修改的 U NIX语义 ;要研究空间数据与属性数据一体化查询语言 ,提高空间数据的操纵能力 ,等等 .

基于Web的分布式数据仓库体系结构的研究

随着数据仓库技术的发展 ,人们对数据仓库体系结构研究的兴趣越来越浓厚 ,数据仓库体系结构选取是否合理 ,将直接关系到整个数据仓库的成败。在分析客户机、服务器数据仓库体系结构的基础上 ,将XML、智能Agent技术引入到数据仓库中 。

Web服务技术在数据仓库系统中的应用

分析了 Web服务技术与数据仓库相结合的优势 ,提出了一种基于 Web服务技术的分布式数据仓库模型 ,该模型采用 XML 的消息传递机制实现了分布式计算。将 Web服务技术与数据仓库相结合 ,扩充了数据仓库的网络功能 ,解决了与服务器端数据交换的效率、提高了客户端的执行效率 ,从而可以方便地从大量的数据中抽取有价值的信息 ,因此 ,企业和用户能够更加方便地获取信息。