基于Hadoop的油田勘探开发云平台数据存储模型研究与应用

在物联网、移动互联网、云计算等信息技术的引擎带动下,大数据得到了迅猛的发展,攀升规模让人目不暇接,大数据的挖掘已经成为各个领域的焦点。在云平台开源项目Apache的构建中,Hadoop是重要的功能载体。基于Hadoop框架的应用,计算机集群得以快捷地实现。在油田勘探开发中越来越多的数据被挖掘出来,传统的Javs EE技术严重滞后于现代油田勘探开发功能需要,新的技术整合势在必行。根据分布式文件系统HDFS,依托Hadoop构建云平台数据存储结构模型,在油田勘探开发作业中真正实现了数据存储和查询的统一性,以及超强的灾备和预警能力,不仅显著提高了多表联合查询效率,真正意义上实现了数据资源的共享。

基于关系数据库的多维数据存储模型

本文介绍了一种以关系数据库为最终数据存储管理系统 ,通过在数据管理人员与关系数据库之间建立一个多维数据存储管理支持模块 ,实现用户对多维数据和对象的存储管理的方法 .阐述了其中关键的算法思路 ,给出应用实例 ,并作出评价 .

基于HBase和GeoTools的矢量空间数据存储模型研究

针对非结构化数据库HBase存储技术的研究,提出一种矢量空间数据存储模型,对现有的矢量空间数据格式进行转换存储,以解决云存储技术缺乏空间数据拓扑关系描述及不能直接存储矢量空间数据的问题。该模型利用了列模式和key/value映射的稀疏存储机制,并采用基于GeoTools中间件的思想对矢量空间数据展示其空间拓扑关系。在HBase集群上的实验表明,该模型克服了HBase存储技术在矢量空间数据存储方面的瓶颈,在其体现空间拓扑关系的前提下,对矢量空间数据可以直接存取和展示,提高了空间数据存储效率。

用于剪纸文化计算的数据存储模型

针对剪纸图案的数字化表示、内容检索与文化计算问题,构建了一种XML数据存储模型。该模型不仅能实现从剪纸图像到XML数据的双向转换,并能为剪纸内容检索、数据挖掘与文化计算准备数据。为了评价该模型的可行性和优越性,测试了模型对发现已知文化规律的支持能力。研究结果表明,在增加必要的结构信息与特征信息后,基于模型的数据集具备支持数据挖掘与文化计算的能力。本文有关模型的设计思路同样适用于其他非文本资源。

存储系统的层次性与进程数据存储模型

计算机系统的各种存储部件 ,包括寄存器、cache、内存、外存 ,被组织成一个层次性的存储结构 .传统操作系统分别在内存和外存这两个层次上为用户构造了两种数据存储模型 :进程逻辑空间和文件 .应该在存储层次的最外层——外存直接为用户构造进程数据存储模型——文件 ,把全部内存作为进程访问外存的缓冲 ,取消了进程逻辑空间的概念 ,实现指令对文件的直接寻址 ,使进程直接在文件上运行 .基于以上思想 ,提出了一个操作系统模型 ,介绍了该模型的结构及其一个实现原型 ,并对其性能进行了测试和评价 ,最后讨论了该操作系统具有的优点及其存在的问题 .

基于特征点的地形数据存储模型

低空突防在现代战争中发挥着越来越重要的作用 ,而机载数字地图是现代自主式低空突防系统的一个关键子系统。突防区域内的三维地形数据是数字地图最重要的信息源 ,故数字地图子系统的成功构筑有赖于在机载环境下有效地存储三维地形数据。本文提出了一种基于地形特征点的三维地形存储模型 ,其中给出了地形特征点的提取方法及地形特征点的存储编码方式。研究表明 ,该存储模型可大大减小地形数据的存储空间 。

IC卡数据存储模型的研究

本文首先研究了IC卡数据存储的特点 ,依据存储特点将IC卡划分为单数据应用分区IC卡、单分区IC卡和多分区IC卡三类。给出了IC卡的只读区、控制区、数据区和分区的定义 ,并在此基础上构造出单张IC卡的数据存储模型和对应的数据结构。为了能够描述任意类型的IC卡 ,本文进一步提出IC卡的统一数据模型和对应的数据结构 。

基于Oracle7的多媒体数据存储模型

提出了一种在 Oracle7.3.4 上建立的多媒体数据存储模型 ,实现了应用关系数据库对多媒体数据的存储和管理 ,同时详细描述了在数据库的设计过程中遇到的问题以及解决这些问题的方法。

汽车零部件制造企业库存管理系统数据存储模型的思考

汽车企业发展逐渐走向成熟,企业管理方面也日益完善,然而汽车零部件制造企业的管理问题依旧严峻。从汽车零部件制造企业库存管理发展落后、管理混乱、库房分区不够细致等现状着手分析,针对汽车零部件制造企业库存管理建立完善相关的数据储存模型。

多源异构数据存储模型在业务监控中的研究及应用

随着公司信息化的发展,在十三五期间已经由应用系统的大建设阶段,迈向了信息系统的深层应用阶段,业务系统是云南电网经营、管理和生产的重要支撑,担负着不可或缺的作用,因此对系统功能的实用化情况进行监控和评估变得尤为重要,各个业务部门也开始重点关注现有业务系统的功能、业务流程和数据的实用化情况,其中涉及到的数据包括了各个系统用户操作行为数据、监控平台管理数据以及统计指标数据等,具有异步、分散、格式和种类繁多的特点,业务监控平台需要对这些多源、异构的数据进行集中的管理和存储,并建立数据存储模型,使之形成一个统一的整体.

基础地理实体数据存储与交换模型研究

实景三维自提出以来,不断探索新模式新方法并取得了显著成效。然而由于建模方法和软件工具多样,不同地区基础地理实体数据格式、数据标准并不完全兼容,统一高效的存储格式标准还是空白,严重阻滞了数据在不同区域不同行业间的共享流通。本文以畅通不同格式、不同类型数据交互为重点,梳理分析当前用于存储地理实体数据模型现状,以当前地理实体数据交换格式标准为基础,研究统一、通用、开放的地理实体数据存储与交换模型,并结合实际生产数据进行探索试验,验证了本文方法的可行性,为形成可供广泛交流和共享的标准规范,促进实景三维数据的应用和推广提供参考。

面向电网运营分析的数据存储模型的构建方法

随着电力业务信息化应用水平逐步提升,电网企业管理方式及需求不断拓展,利用各类电网专业系统数据进行跨专业的综合运营分析需求越来越迫切。本文介绍SG-CIM及其规范,针对电网跨专业、多系统关联和缺少SG-CIM实体描述的运营分析,利用SG-CIM主题域实体类、业务系统应用类及视图,进行数据存储模型重组及构建,减少建模、系统之间数据贯通工作量,实现运营分析所需数据的快速提取和整合。

基于Oracle Spatial的GIS数据一体化存储模型及在城镇地籍调查中的应用

本文主要围绕Oracle Spatial的对象-关系模型阐述了GIS数据一体化存储模型,并用具体实例分析了模型在城镇地籍调查中的应用。

BEPC束测系统数据存储管理模型

着重讨论了建立BEPC数据存储管理系统模型的系统结构和基本方法。从BEPC数据结构分析、数据采集、数据处理过程、系统结构设计、实验方案选择、关键技术以及图像处理等方面详细介绍了系统模型的实现过程。完成了从系统实验软硬件平台的建立到数据装入、数据库建立、数据存取以及数据图形处理等功能。

企业动态联盟环境下的产品数据分布存储技术研究

在分析了产品数据分布式存储特点的基础上 ,设计了面向多联盟环境下的产品存储模型 ,定义了产品存储模型中的信息关联关系和资源关联关系 ,建立了联盟企业和产品数据的关系矩阵。以航空某企业联盟为应用背景 。

一种P2P分布式系统高可靠数据恢复模型

交叉存储和并行传输给出的数据失效模型,虽然达到了可靠存储、快速数据恢复的目标,但是其假定了下载速度随着并行传输数的增加呈现线性增长,其约束过于理想.提出一种基于并行传输策略、泊松分布理论和数据交换中心机制的数据恢复模型,模型引入非线性速度和函数,取消了对物理网络并行传输速度的假定与约束.从理论上分析了各种参数对数据恢复模型性能的影响.实验结果与理论分析一致,模型在使用了与双副本相同存储空间和网络流量影响一致的前提下,有效地降低了数据的失效概率.

基于云计算环境的大数据兼容性存储系统设计

为了更好地适应环境的发展、推动科技的进步,针对网络数据实时与异构的特点进行研究,结合云计算方法对网络数据检测储存系统进行创新和优化,提出大数据存储系统的创新设计方案,并设计基于云计算的大数据储存处理模型。通过云计算方法对网络数据信息的特点进行分析,对数据模型的扩展、存储以及并行处理问题进行研究,从而对数据存储系统进行优化创新,以便提高系统的实用价值。最后通过实验对系统性能进行检测,实验结果证实,该系统相比传统系统信息储存效果具有较高的优越性,有效达到了设计目标。

离线应用本地数据存储设计与实现

为解决离线应用系统中本地数据数据存储问题,设计与实现一个以开源数据库SQLite为底层存储的数据存储方案。针对开源SQLite数据库只支持明文存储的不足,提供了两种可选的加密解密算法,并研究和评估了这两种不同的加密解密算法对数据存储效率的影响。在实现本地数据存储层的基础上,提出了一种实用的数据存储模型,以方便离线应用结构化数据的存取。

面向海量NetFlow数据的存储和查询处理方法研究

针对全国骨干网高速海量Net Flow数据到来速度快、数据量大以及对所存数据进行频繁多维查询操作的特点,提出了一种多维属性聚簇存储(MACS)模型。该模型根据实际应用环境中查询的特点对数据进行空间分片,以并行加流水的方式对数据进行存储。此外,为Net Flow提出了一种超多面体的查询模式。真实环境实验结果表明,运用MACS模型实现的系统单点数据实时存储速度达到270万条/s,远远快于其他的数据分析系统,并且多维属性查询的速度优于Hive和Impala。

数据存储管理技术研究与应用

阐述了数据集中管理技术的研究内容,并从数据库集中管理技术和一体化数据存储模型技术两个方面分别阐述了数据集中管理技术的研究以及应用效果。通过建立满足油田公司勘探与生产主要专业的数据整合技术管理体系,实现数据统一集中管理和应用共享。