基于数据仓库ETL技术的电力技改大修项目数据清洗方法

由于重复数据和空缺数据数量多,电力技改大修项目数据清洗方法不能实现脏数据的有效清洗,为此研究基于数据仓库ETL技术的电力技改大修项目数据清洗方法。通过对多数据源的电力技改大修项目脏数据质量的评估,判断符合预期标准后进行数据挖掘;结合数据仓库ETL技术对重复数据记录进行清洗;运用切比雪夫定理处理电力技改大修项目数据空缺值来完成对电力技改大修项目数据的有效清洗。实验结果表明,运用该方法清洗数据有效率最高,有效提高了数据的质量,实现了对数据的高质量清洗。

基于Hadoop技术的加速器大数据安全存储与高效分析系统设计

为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬件架构以及将数据从现有数据库抽取、转换和加载到数据仓库的方案。特别是针对系统归档数据的存储和分析需求,根据实际应用场景设计一个基于HBase的存储解决方案。在系统部署完成后,进行了吞吐量测试,并与当前使用的传统数据库进行性能对比。测试结果显示,基于Hadoop的数据仓库系统在海量数据存储、高性能查询以及数据分析处理方面都表现出明显的优势。这一改进为加速器控制系统提供了更强大的数据管理和处理能力,有望为加速器在未来的发展提供更多可能性。

基于模型驱动的ETL模型映射方法

针对AP模型的特点,给出元模型中对象的形式化定义,优化模型映射算法,提出一种基于模型驱动、从概念模型到逻辑模型的映射方法。改进后的算法能够映射基于数据抽取-加载-转换(ETL)工作流的单源数据或多源数据,并发执行各状态节点,提高了执行的效率。实验结果表明,该方法为模型驱动式ETL设计及数据集成中快速实现ETL奠定了良好基础。

基于ETL技术的电网运行全景建模

在南方电网开展的一体化电网运行智能系统研究和建设中,针对电力二次系统数据的多样性和孤立性现状,提出了利用ETL技术处理信息共享的方案。该方案将多系统模型数据抽取、转换并集成到统一的电网全景模型中为多系统所共用,其正确性和有效性在实践中得到了验证。

面向企业级数据中心的分布式ETL研究与设计

随着信息技术的不断发展与成熟,数据中心建设是值得我们探讨的课题。本文从大数据时代ETL所面临的挑战进行分析,提出解决问题的思路和措施,研究和设计了企业级数据中心的分布式ETL方案,并就ETL关键技术、Data Vault混合数据建模、异常处理及保障进行了探讨。

空间数据ETL同步技术

随着北京市房屋全生命周期平台建设的深入,各区县在市房屋平台现有基础上,全面整合各业务系统,简化、再造业务流程,提高行政工作效率,实现"以图管房"、"以房管业"、"以房管人",打造区县级房管数据中心的需求日益强烈。空间数据ETL同步技术是指基于数据库层的一种编程技术框架体系,为了解决跨网段(非局域网,能通过互联网或政务网访问)的空间数据共享同步问题的技术,通过空间图层序列化、空间数据推送、空间数据抽取、空间数据标准化及脏数据处理、空间图层属性表和房屋空间CLOB表反序列化实现空间数据同步。目前,已经应用于海淀房屋平台房屋空间数据建设,是海淀房屋平台与市房屋平台之间房屋空间数据落地,并动态更新的关键技术和手段。空间数据ETL同步技术是纯数据库层编程技术,不受前端开发架构影响,很好地解决了房屋空间数据异步同步和数据共享问题。随着市房屋平台"1+16"市区两级模式的推广和应用,空间数据ETL同步技术也将继续应用在其他区县房屋空间数据中心的建设中。

基于气象大数据云平台的政务区数据同步技术研究

随着气象大数据的快速发展和山东数字强省建设的深入推进,气象数据在地方政府的发展和决策制定中发挥着越来越重要的作用。为了满足政府数据应用的需求,提出一种基于气象大数据云平台的高效、安全、可靠的数据同步方案,以实现政务区的数据同步,提升气象数据服务能力和信息化水平。依据气象数据的类型和特点,将其划分为一般结构化数据、特色结构化数据和非结构化数据三类,针对每类数据提出了相应的同步技术方案,构建了针对政务区数据同步的综合解决方案,并以山东省气象数据为例进行了实验分析。结果表明,所提方案具备高度可行性、有效性和安全性,可为政府决策提供强有力的数据支撑。

ETL技术在船舶制造海量异构数据处理中的应用

以船舶制造海量异构数据为对象,研究ETL技术及其执行工具,建立船舶制造海量异构数据处理架构,构建统一的数据仓库系统,符合船舶数据结构特性,能够可靠、有效、快速地实现船舶制造各种数据间的抽取、清洗、转换及装载,解决船舶数据源无法相互关联及汇总的问题,实现数据整合、展示、分析的快速响应,提高智能管控执行效率。

基于大数据的ETL中的数据清洗方案研究

ETL,又被称为数据仓库技术,是指数据源经过抽取(Extract)、转换(Transform)、加载(Load)的过程。在运用ETL技术的过程中,会产生一些有着错误属性的数据,特别是在大数据时代的背景下,这种错误数据量往往十分庞大,传统的数据清洗方案效果不甚理想。设计一种基于大数据的ETL的高效数据清洗方案,通过对27组数据的清洗,将数据清洗方案与传统数据清洗方案进行对比,实验结果表明:该数据清洗方案能够有效提高数据清洗的效率,并且保持较高的准确性。

ETL技术的装备大数据治理应用

文章针对ETL技术下的装备大数据治理应用进行研究,获取相关的数据信息,主要目的就是帮助军用和民用装备领域能够更好地处理数据融合方面的问题。基于此,文章提出一套较为详细的治理方案,涵盖清洗服务、数据抽取和加载等方面的内容,同时在现有技术基础上提出标准统一和增量抽取等应用技术,这些都将为数据高效融合提供重要的途径。

ETL技术在地税数据集中项目中的应用探讨

随着国家税务部门对涉税数据精确化管理的需要,迫切要求将各级税务机关的征管数据汇总,并进行分析和预测。鉴于我省核心征管系统省、市两级部署,分散应用,所以在数据集成的过程中对数据的准确性和及时性要求比较严格,就必须使用ETL技术来实现三级数据的集成。

数字化车间多源异构质量数据集成方案研究

针对数字化制造中多源异构质量数据信息量大且缺乏统一、规范和标准化数据管理的问题,提出一种基于面向对象技术和基于映像的数据抽取、转换和加载(Extract-Transform-Load,ETL)技术的异构数据集成方案,该方案简单实用,具有很高的通用性,可提高异构数据的提取精度,有效地解决多源异构质量数据集成问题。

基于DM的科技计划项目绩效评价系统的设计

针对目前的科技计划项目绩效评价系统存在的评价模型构建难、不具备数据挖掘和知识发现的功能等问题,提出一种基于数据挖掘技术的科技计划项目绩效评价系统的设计方法,给出了科技计划项目绩效评价系统的总体架构图、总体功能设计框图以及针对两图的设计思路,并对绩效评价所涉及到的ETL数据处理技术、绩效评价模型构建方法进行了研究。运用一种决策树技术和一种基于偏好系数的组合赋权法技术分别实现优化绩效评价模型的指标体系和指标权重的目标。该方法经过某一地市级的科技计划项目的绩效评价,结果显示该方法具有良好的使用效果。

面向钢铁行业的能源信息流综合集成框架

针对目前大型长流程钢铁企业,能源转化关系复杂、能源信息离散等问题,对钢铁生产工序的能源消耗转化和能源信息流动进行了分析研究,提出了一种能源信息流综合集成解决方案。该方案有效地解决企业能源信息孤岛问题。

智慧校园背景下高校数据中心的研究

建设智慧校园共享数据中心,运用云计算、Hadoop大数据等技术解决“烟囱式”系统建设、“信息孤岛”、海量异构数据存储问题,从而集成整合高校资源,实现海量数据的高效存储及管理。通过研究共享数据中心的建设框架,提出部署在VMware虚拟化平台上来保障数据中心的高可用性和业务连续性,提出基于oracle和HBase混合模式实现海量异构数据存储及管理。同时,重点阐述了异构数据的集成思路,利用Kettle ETL工具,通过创建的中间数据库以中间表或视图的方式实现数据的整合。

智能电网环境下电能计量大数据智能多维分析

针对目前现有的电能计量数据分析系统处理效率低下、计算周期过长和性能差等问题,设计出一套基于大数据技术的计量装置智能多维分析系统。该系统SQL分析通过Spark SQL实现,来弥补复杂HQL转换成Map Reduce任务后计算时间长的问题;数据采集预处理方面采用基于合区聚合法ETL技术,解决了传统ETL技术处理效率差的问题;多维分析方面则采用基于关联规则的What-if分析方法,解决了传统多维分析性能差的问题。实验表明,该方案具有效率高、编程简单、易操作、性能好等优点,保证了电能计量数据分析系统稳定性。

三维航空摄影测量与数据自动关联在不动产数据整合工作的新构思——以不动产数据整合项目为例

文中利用三维航空摄影测量技术运用到不动产数据整合的底图运用,再结合文本与图形相似度映射关联方式实现不动产数据自动关联,如数据可批量化自动关联整合,便可大量减少人工操作使用率并大幅度地提升数据整合工作的效率。

基于Hadoop技术的联通大数据采集研究

为了提高联通大数据采集架构的性能,本文以提升数据采集效率为目标,对数据采集中的数据提取、转换和加载进行改进,提出新的提取变换负载(Extract-Transform-Load,ETL)运行方案。该研究方案建立在Hadoop平台上,根据中国联合网络通信有限公司运营体系的特点,对大数据采取预处理,并引入动态触发控制模式,优化ETL调度流程,实现并发量的监测与控制,使得数据采集效率得以提升。测试结果显示,本文提出的大数据采集方案能够缩短等待时间、改善数据资源拥堵问题,从而大大提高数据采集效率。

基于大数据技术的档案数据治理对策

档案数据治理是档案部门进行传统档案数字化转型与提升档案数据管理效率的关键。本文对当前档案数据治理中存在的问题进行了深入的剖析,通过引入大数据治理技术,进一步从大数据实时清洗技术、ETL技术和大数据生命周期的数据安全方面提出了档案数据治理对策,以期从大数据治理技术出发为档案数据治理提供一定参考借鉴。

大数据技术在智能电网中的应用

阐述智能电网中的大数据技术特点,智能电网及大数据和云计算,面向智能电网应用的电力大数据关键技术应用,包括智能电网电力大数据平台架构、ETL关键技术、数据分析与处理技术。